大数据技术发展与应用趋势研究报告.docx

《大数据技术发展与应用趋势研究报告.docx》由会员分享，可在线阅读，更多相关《大数据技术发展与应用趋势研究报告.docx（29页珍藏版）》请在优知文库上搜索。

1、大数据技术发展与应用趋势研究报告一、大数据发展概述1（一）大数据概念1（二）大数据发展现状21.市场总体规模22 .产业区域分布33 .国家政策环境44 .总体发展成效5（三）存在问题61.数据共享运营机制不完善62 .技术创新与支撑能力不强73 .专业人才短缺成发展瓶颈84 .行业应用不深入难题待破解85 .数据安全问题亟待解决8二、大数据技术发展现状9三、大数据技术发展趋势10（一）多元数据融通共享10（二）多技术融合发展111 .大数据与人工智能112 .大数据与云计算123 .大数据与物联网134 .大数据与区块链145 .大数据与数字挛生15（三）计算、存储逻辑分离15（四）离、在线

2、系统混部16（五）数据分析全民化16（六）数据安全面临新挑战17四、智能电网技术发展趋势18（一）智能感知技术18（二）云计算与大数据技术18（三）深度学习智能算法19五、大数据应用发展趋势20（一）整体行业应用情况20（二）电力行业应用情况201 ll/J212 丹麦维斯塔斯公司21（三）未来大数据应用发展趋势22六、发展启示和建议23（一）推动开放共享，提升大数据建设质量23（二）构建分层数据治理体系，推动数据管理25（三）强调供需对接，拉动产业有序发展25（四）完善法律制度，切实保障数据安全26（五）加强技术产品创新，切实保障数据发展28（六）构建人才培养体系，切实保障数据运营28通过对

3、前沿大数据技术发展和应用趋势进行研究和分析，了解和洞察大数据技术和应用未来发展趋势，为大数据中心发展规划提供技术借鉴，为此撰写大数据技术发展和应用趋势研究报告。该报告内容分为六大部分，具体包括大数据发展概述、大数据技术发展现状、大数据技术发展趋势、智能电网技术发展趋势、大数应用发展趋势、大数据发展启示和建议。一、大数据发展概述（一）大数据概念大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，是一种新资源、新技术和新理念混合体。从资源视角来看，大数据是新资源，体现了一种全新的资源观。1990年以来，在摩尔定律的推动下，计算存储和传输数据的能力在以指数速度增长，每GB

4、存储器的价格每年下降40%。2000年以来，分布式存储和计算技术迅猛发展，极大的提升了互联网企业数据管理能力，互联网企业对“数据废气”（DataEXhaUSt）的挖掘利用大获成功，引发全社会开始重新审视“数据”的价值，开始把数据当作一种独特的战略资源对待从技术视角看，大数据代表了新一代数据管理与分析技术。传统的数据管理与分析技术以结构化数据为管理对象、在小数据集上进行分析、以集中式架构为主，成本高昂。与“贵族化”的数据分析技术相比，源于互联网的，面向多源异构数据、在超大规模数据集（PB量级）上进行分析、以分布式架构为主的新一代数据管理技术，与开源软件潮流叠加，在大幅提高处理效率的同时（数据分析

5、从T+1到T+0甚至实时），成百倍的降低了数据应用成本。从理念的视角看，大数据打开了一种全新的思维角度。大数据的应用，赋予了“实事求是”新的内涵，其一是“数据驱动”，即经营管理决策可以自下而上地由数据来驱动，甚至像量化股票交易、实时竞价广告等场景中那样，可以由机器根据数据直接决策；其二是“数据闭环”，观察互联网行业大数据案例，它们往往能够构造起包括数据采集、建模分析、效果评估到反馈修正各个环节在内的完整“数据闭环”，从而能够不断地自我升级，螺旋上升。目前很多“大数据应用”，要么数据量不够大，要么并非必须使用新一代技术，但体现了数据驱动和数据闭环的思维，改进了生产管理效率，这是大数据思维理念应用

6、的体现。（二）大数据发展现状1 .市场总体规模2018年，我国大数据产业规模不断扩大，产业链条加速完善，企业实力不断增强。包括大数据硬件、大数据软件、大数据服务等在内的大数据核心产业环节的产业规模将有望突破5700亿元。与此同时，国内大数据公司业务覆盖领域日益完备，在数据采集、数据存储、数据分析、数据安全与数据可视化等领域均成长起了一批有一定实力与特色的大数据企业代表。阿里、华为、百度、腾讯等企业的平台处理能力跻身世界前列，华为、联想等公司在数据存储、处理等软硬件设备市场的优势则逐渐显著。围绕大数据的创新创业企业发展势头正热,在中国大数据独角兽企业T0P20榜中，平安医保、商汤科技、旷视科技、

7、云从科技、金山云等一批优秀企业上榜。在国内巨大的应用市场需求与日新月异的新一代信息技术发展的双重推动下，我国大数据产业整体仍将保持较高增速。预计2019年我国大数据核心产业规模有望突破7200亿，增速将维持在25%-30%左右。随着我国大数据企业核心竞争力的不断提升，大数据产业链条将更为完备，围绕产业链上下游的布局趋于合理，协同创新能力将不断提升。产业蝴（亿元）图1大数据产业规模及代表企业2 .产业区域分布我国大数据产业集聚区主要位于经济比较发达的地区，北京、上海、广东是发展的核心地区，这些地区拥有知名互联网及技术企业、高端科技人才、国家强有力政策支撑等良好的信息技术产业发展基础,形成了比较完

8、整的产业业态，且产业规模仍在不断扩大。除此之外，以贵州、重庆为中心的大数据产业圈，虽然地处经济比较落后的西南地区，但是贵州、重庆等地依托政府对其大数据产业发展提供的政策引导，积极引进大数据相关企业及核心人才，力图占领大数据产业制高点，带动区域经济新发展。京津冀地区依托北京，尤其是中关村在信息产业的领先优势，培育了一大批大数据企业，是目前我国大数据企业集聚最多的地方。不仅如此，部分数据企业扩散到了天津和河北等地，形成了京津冀大数据走廊格局。珠三角地区依托广州、深圳等地的电子信息产业优势，发挥广州和深圳两个国家超级计算中心的集聚作用，在腾讯、华为、中兴等一批骨干企业的带动下，逐渐形成了珠三角大数据

9、集聚发展的趋势。长三角地区依托上海、杭州、南京，将大数据与当地智慧城市、云计算发展紧密结合，吸引了大批大数据企业，促进了产业发展。大西南地区以贵州、重庆为代表城市，通过积极吸引国内外龙头骨干企业，实现大数据产业在当地的快速发展。珠三角地区主大敷三问 泉粉.尸4鼻发次业 理方云率先示茶.具有成试麻区发JMt新京津食毡区力打造六救已初步形或大歙界林调发展体系以上海为慎：.布长三命堆区.挣堆推生大敕循与当地之后城中境设.以及三讦算.人工，的等算他干一代信息许“段畏袤度合图2国家大数据综合实验区发展定位3 .国家政策环境随着国家发布促进大数据发展行动纲要、大数据产业发展规划（2016-2020年）等一

10、系列政策的深入推进实施，政策环境迎来了加速优化期。据不完全统计，从2014年至今我国涉及到大数据发展与应用的国家政策规定已多达63个，其中国家大数据发展顶层设计1个，国家层面顶层规划4个，重点行业领域发展应用31个，重点工作推进25个，重点区域发展2个。大数据战略已上升为国家战略高度，各部委从战略规划、技术能力提升、应用与管理三个层面积极落实推进大数据发展政策。在机构改革方面，山东、福建、浙江、广西等省新成立了省级大数据管理局；广东在原有大数据管理局基础上，新组建省政务服务数据管理局；此外，贵州大数据管理局等已存在机构，也被明确提升至省政府直属机构级别。在人才培养方面，2018年教育部在全国范

11、围内新批准248所高校开设大数据专业；同时，成立了如达摩院、北京大学健康医疗大数据国家研究院、重庆邮电大学科大讯飞人工智能学院等大数据研究培训机构，不断加强大数据人才培养力度。在大数据标准化方面，2018年贵州省获批建设国家技术标准（贵州大数据）创新基地，用以加快建立大数据关键共性标准，并引导国内外企业加强大数据关键技术、产品的研发合作。在公共服务方面，围绕大数据的咨询服务、知识产权保护、产权交易、品牌推广、投融资服务等服务机构也逐渐发展成熟院等大数据研究培训机构，不断加强大数据人才培养力度。大数据相关利好政策将进一步加快落地，围绕数据安全、数据交易、数据标准等领域的更多创造性政策将加快出台，

12、随着各地加快建立大数据管理机构，大数据产业发展的政策环境将进一步优化。大数据人才将呈现多元化培养模式，随着教学内容、教学理念向更加灵活、更加实用的方向发展，我国大数据人才供给质量、数量将大幅提升。数据交易标准与技术体系将加快完善，大数据公共服务体系及专业服务机构将进一步发展，整个大数据产业生态将愈发趋于健康成熟。4 .总体发展成效截止到2017年1月份已经公开发布的37份地方的大数据规划,涵盖16个省21个市Q第一类是以北深广浙为代表的引领性的规划，与产业现状结合最为紧密；第二类是以苏州、南宁为代表的落实性规划，对接国家和省相关战略制定可操作的具体落实措施；第三类是追赶型规划，以相对欠发达地区

13、制定的弯道超车型的发展规划为主。通过各地规划目标和阶段性实施成果的分析可总结出我国目前大数据发展的四大成效:区域特色创新发展促进大数据产业快速聚集。总的来说，目前我们国家已经形成中西部地区、环渤海地区、珠三角地区、长三角地区、东北地区五大产业区，配合国家大数据综合实验区的建设，整个产业布局将进一步规划。行业应用逐步深入。以共享开放推进在政府中的应用，发展工业大数据促进产业转型升级，积极开展金融大数据的应用创新，推动在公共卫生医疗保健中的应用是各地规划中要见成效的领域。政府试点促进数据中心建设迅速提升。通过大数据战略倒逼基础设施配合国家宽带中国普遍服务、全面小康一系列战略的推进，现在宽带网络和互

14、联网数据中心都取得了快速的发展Q数据资源整合加快，共享开放的意识增强。截止到现在，8096以上省市提出要开展数据共享开放平台的建设，强调政府数据的统筹协调管理。同时建设多个数据交易场所加快政府数据的开放共享，这个模式的大规模推广，将数据的价值不断挖掘出来，使产业特征或市场服务以及用户体验等带来新的价值提升空间。（三）存在问题自大数据上升为国家战略后，该产业和应用得到了快速发展，但面向数字中国、智慧社会等建设的更高要求，大数据行业仍还存在一些差距，尤其是数据开放度低、技术薄弱、人才缺失、行业应用不深入等难题需要解决。1 .数据共享运营机制不完善数据资源的流动性是大数据应用和产业发展的基础，但目前

15、我国数据共享与运营市场机制不成熟，数据交易额仍然较小、数据来源也相对狭窄，早先成立的多家数据交易平台更是面临停运或半停运风险。宜加快解决下述三点问题，推动数据共享与运营机制不断完善。一是数据交易的权威性和准确性无法保证的问题。我国尚未对数据交易平台的建设主体、参与主体等做出明确规定和标准要求，监管条例的缺失将严重影响交易数据质量，从而对数据流通带来障碍。二是大数据交易市场无统一定价规范的问题。当前我国对数据资产交易模式、交易规则、分级分类规则、定价交割模式等仍缺乏明晰表述，需要加快构建合理、公平、普适的定价方式。三是数据确权问题Q数据所有权的归属和合规性仍存在争议，尚未在用户和服务提供商之间达成平衡,这有可能导致类似Facebook,数据堂等侵犯公民个人信息的问题发生，也为数据跨境流通交易留下安全隐患。2 .技术创新与支撑能力不强技术创新是推动大数据产业发展的内在动力，但是目前我国在新型计算平台、分布式计算架构、大数据分析方法、模型、算法等方面技术水平与国外仍存在较大差距，在前瞻性技术研发方面仍处于跟随状态，技术创新对于大数据产业的引领作用仍然不强。一方面，国内企业对大数据核心技术、开源技术和相关生态系统影响力总体较弱，如商用数据库等主流产品市场仍由国外企业主导。另一方面，大多数大数据企业的创新仍以模