漫谈大数据陈国良.pptx

《漫谈大数据陈国良.pptx》由会员分享，可在线阅读，更多相关《漫谈大数据陈国良.pptx（26页珍藏版）》请在优知文库上搜索。

1、漫谈大数据漫谈大数据Talking Something About Big DataTalking Something About Big Data2摘要摘要： 本报告从人类文明社会发展历程及其标志性技术讲起，引出新一代信息技术之一：大数据的概念；接着引导大家认识大数据，理解什么是大数据，包括大数据的定义、作用以及挑战与威胁等；最后在结论阐明大数据不仅能引领发展，还会推动经济转型，并且还能提供重塑国家竞争优势的新机遇！3目 录1.引言(1)人类文明社会发展历程(2)工业社会发展历程(3)信息化革命进程(4)信息时代的标志性技术2.认识大数据(1)大数据一词的渊源(2)澄清说法(3)从科学高度认

2、识大数据3.什么是大数据(1)大数据的来源(2)大数据的定义(3)大数据带来的挑战和威胁(4)变革思维研究大数据(5)全生命周期研究大数据(6)大数据引领社会、经济和科技发展4.大数据及其相关技术(1)物联网(2)云计算(3)高通量计算5.大数据计算理论(1)数据科学(2)计算科学(3)计算复杂类问题6.结论和倡导(1)结论(2)倡导1、引言(1) 人类文明社会发展人类文明社会发展历程历程4农业社会工业社会信息社会以家庭为单位，手工分散生产以人力、畜力为动力，使用农耕工具工业化大生产蒸汽机发明科学智慧生产电子数字化技术1、引言(2) 工业社会的发展历程工业社会的发展历程5工业1.0工业2.0工

3、业3.0工业4.0机械化：蒸汽机的发明运用了机械力学原理，解放了生产力电气化：交流电的发明运用了电磁电动原理，提高了产能信息化：电子数字化技术运用了数字手段，解决了生产效率和消费效率之间的矛盾知识化：互联网（+）将互联网与传统行业相融合，促成了经济社会创新驱动发展的新常态1、引言(3) 信息化革命进程信息化革命进程6第一一次信息革命语言的语言的创造创造猿人信息得以交流和传递第二二次信息革命文字文字的的出现出现第三三次信息革命印刷术印刷术的的发明发明信息可以被存储在文字中进行传播，解决了语言的时间和空间局限性第四四次信息革命无线电无线电的的发明发明扩大了信息交流和传递的能量和范围声音、图片影像、

4、文字实现同时远距离实时传播第五五次信息革命电视电视的的发明发明第六次信息革命计算机计算机与互联与互联网的使网的使用用突破人类大脑及感觉器官加工利用信息的能力，人类进入信息社会时代1、计算理论与计算复杂性(4)计算信息时代的标志性技术计算信息时代的标志性技术 信息技术的标志性代表数字计算机数字计算机：运算速度快、运算精度高、通用性强、具有记忆功能和逻辑判断功能、具有自动控制能力；集成电路：集成电路：微小型化、低功耗、智能化和高可靠性；光纤通信光纤通信：绝缘、抗电磁干扰性能强；还具有抗腐蚀能力强、抗辐射能力强、可绕性好、无电火花、泄露小、保密性强；Internet 互联网：互联网：信息储存量大、高

5、效、快，成本低，互动性高。 新一代信息技术的三大三大亮点亮点物物联网（联网（Internet of things）：以互联网为基础将用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信；云云计算（计算（Cloud Computing）：提供安全可靠数据存储中心、降低客户端要求、增强计算能力、无限的存储容量；大数据（大数据（Big Data）：）：让海量数据产生价值，使数据成为宝贵“资产”。72、认识大数据(1)大数据一词的渊源大数据一词的渊源 学术界：早已存在，只是叫法不同巨量数据、海量数据（Mass Data）；大规模数据（Large Scale Data）；天文数字数据（Astron

6、omical-Level Data）； “大数据”一词演变2008年英国Nature 杂志率先出版了“ 大数据” 专刊来分析大数据对当代科学的影响和意义；2011 年美国Science 杂志推出“数据处理”专刊；2012 年联合国发布大数据政务白皮书大数据促发展：挑战与机遇；2012年，美国奥巴马政府宣布投资2亿美元启动大数据研究和发展计划，希望增强收集海量数据、分析萃取信息的能力；2015年中国提出推行国家大数据战略，英、日、德、加等国纷纷效仿；社会上流行语-飞入寻常百姓家。 科学性及普适性Big Data似乎通俗，不尽文雅的名称；大数据一词走出学术界，“飞入寻常百姓家”，影响深远，推动了科

7、技和社会发展，改变人们的生活、思维方式。82、认识大数据(2) 澄清说法澄清说法 “大数据时代”，称呼欠妥“时代”隐含着一段相当长的历史时期（Period Of History）和历史阶段（Time Of History），如农业时代、工业时代、信息时代。称“大数据时代”在科学上不够严谨。 大数据是信息时代“标志性技术”，似“勉为其难”信息时代的标志性技术如上所述，应是：数字计算机、集成电路、光纤通信、互联网等。大数据作为新一代信息技术的三大亮点（物联网、云计算、大数据）还是比较恰当。(3) 从科学高度认识大从科学高度认识大数据数据 大数据的内部属性大数据不仅是一种“资源资源”：大数据可等同2

8、0世纪的石油，是一种资源；大数据还是一种“资产资产”：信息经济早期，大数据作为一种“资源”，但现今它还被视为“资产”，是企业的核心竞争“能力”。 大数据的外部效应“蜜蜂模型蜜蜂模型”：蜜蜂采花酿蜜不仅供人间美食，更主要是传播花粉，给农业带来丰收。大数据不仅优化生产，节能增收，而且隐藏在大数据中的高价值产生很多科学问题。 大数据的长远影响大数据不仅具有内部属性和外部效应，而且具有潜在的暂时看不出的长远影响。犹如当年发明交流电只是为了照明，而今交流电已经无处不用了一样 。93、什么是大数据(1) 大数据的来源大数据的来源 网络连接世界涌现出大数据互联网和社交网产生的数据；无线移动互联网络产生的数据

9、；物联网上采集和观测数据；社会发布的信息数据。 大科学工程产生了大数据大型强子碰撞（LHC：Large Hadron Collider）试验；斯隆数字天空勘探（SDSS：Sloan Digital Sky Survey）计划；基因测序（ DNA sequencing）。 新技术新应用催生的大数据新技术：传感技术、新型通信技术、物联网技术；新应用：物联网和云计算等。103、什么是大数据(2)大数据的定义大数据的定义 大数据的直观定义：用目前常用的软件工具无法在容许的时间内进行获取、存储、管理、分析的数据集。 大数据的4V定义Volume（Amount of Data）：大容量（主要体现数据存储量

10、大和计算量大）；Velocity（Speed of Data in & out ）：快速率（主要指数据更新、增长速度快，数据存储、传输、处理速度快）；Variety（Range of Data Types & Sources）：多样性（包括结构化的原数据库表格数据和半结构化、非结构化的文本、视频、图像等信息）；Value（Usefulness of Data）：高价值（大海捞针，“在大数据困难面前，不被利用就是成本”。 大数据的4层技术架构基础层基础层：横向可扩展存储和计算平台；虚拟化、网络化的分布式架构；管理层管理层：并行、分布式管理平台；结构化和非结构化的统一管理；分析层分析层：基于统计学

11、的数据挖掘和机器学习算法；分析和解释数据，提供自动服务；应用层应用层：提供实时决策；内置预测能力。113、什么是大数据(3)大数据带来的挑战和威胁大数据带来的挑战和威胁 大数据所带来的技术挑战：大数据存储与管理：大数据存储与管理：虽然大数据价值稀疏，但保留它还是非常有价值的！解决大数据的存储问题首先是对其进行去重和压缩；其次是降低副本比，提高存储效率和降低存储成本。传统传统IT系统到大数据系统的过渡：系统到大数据系统的过渡：在现有的数据软/硬件平台基础上做渐进式渐进式改进；大数据分析要平民化平民化；大数据应用要直观、易用和网络化。大数据分析：大数据分析：需要革命性理论和新算法；不能抽样分析，要

12、全数据聚合分析；以计算为中心转移到以数据为中心；系统架构应分布式和并行化兼顾；将结构化数据的分析方法、工具与新兴的非结构化数据方法、工具相结合；提供数据实时分析能力；云计算是提高大数据分析能力的一种可行方案等。大数据安全：大数据安全：发展信息安全技术；加强技术保护；提高全民信息安全意识；完善信息安全政策和流程；完备信息安全标准等。大数据的兴起催生了数据科学：大数据的兴起催生了数据科学：数据科学可简单理解为预测分析和数据挖掘预测分析和数据挖掘，是统计分析和机器学习技术的结合，相关方法包括回归分析、关联规则、优化技术和仿真建模。 大数据所带来的威胁无处不在的“第三只眼”和大数据的二次利用会使人们惶

13、恐不安，威胁公众的隐私，伤害人类的自由和尊严。运用大数据预测来判断和惩罚人类潜在行为，可能会给社会和人类带来不公和无法弥补的损伤。数据的质量不高、数据的不客观性、数据分析中的差错等所导致的人们对数据的执迷和崇拜，形成了数据独裁是可怕的，应引以为戒。123、什么是大数据(4)变革思维处理大数据变革思维处理大数据 数据的获取面对数据纷繁杂乱的局面，要接受处理大数据无理论、无模型的理念与现实。不能避免数据纷繁多样、优劣共存的混杂性，要容忍模糊性和不精确性的处理方法。不建立新模型，没有统一的理论和机械式的证明，科学也可以照样进步。 数据的分析大数据时代，无需紧紧盯着事物之间为什么的因果关系，要侧重寻找

14、事物之间是什么的相相关关系关关系。知道“是什么”是大数据从业人员急需的，知道“为什么”可容后让科学家们去分析。 数据的解释不能依靠随机采样进行分析，采样无法揭示细节信息，不能期望像小数据时代那样，可用最少的数据获得最多的信息。大数据时代要利用尽可能多的全样数据，收集与某事物相关的所有的数据。 数据的处理在大数据时代，分析如此之多的数据，不能热衷于追求精确性不能热衷于追求精确性，也无法实现精确性。须知，大数据的简单算法比小数据的精确复杂算法会更有效精确复杂算法会更有效。133、什么是大数据(5)全全生命周期研究大数据生命周期研究大数据 大数据采集使用ETL技术：Extraction（提取）、Tr

15、ansformation（转换）、 Loading（加载）； 大数据传输使用SDN（Software Defined Network）集中式路由算法控制； 大数据存储可采用集中与分布式存储结构以及行与列并存方法； 大数据挖掘可采用迭代性与探索性等新型数据挖掘技术； 大数据可采用各种分析方法和集成多种学习算法进行分析； 大数据处理可采用高通量结构、高性能云计算平台、普及性高性能计算机系统； 大数据可采用分布式软件架构Hadoop和Map/Reduce编程框架等； 大数据可采用静态并行NC类计算和交互式IP计算以及动态概率近似（Probably Approximate Correct ）计算； 大

16、数据展示可采用时间趋势可视化和空间趋势可视化等。143、什么是大数据(6)大数据引领社会、经济和科技发展大数据引领社会、经济和科技发展 大数据对国家社会的作用增强国家增强国家安全安全通过海量数据挖掘出高价值的军事情报，通过海量数据的分析迅速布置军事行动；通过海量数据处理实现军事决策自动化、精准化和快速化。促进政府促进政府开发开发数据开放：通过数据开放，可为政府决策提供真实数据；基于数据驱动的政府决策；使用大数据可以提升公共服务的透明度，辅助公共服务部门更好地发现需求、提升绩效、降低运营开支成本等。提高政策预见性和响应提高政策预见性和响应性性利用互联网、社交网和手机信息等，对社会舆论、失业率、疾病爆发、天气预报、股票走势等。 大数据推动国民经济发展人类社会的三次人类社会的三次浪潮浪潮引领人类社会的三次浪潮，给人类社会带来了巨大深刻的影响，极大地推动了人类社会经济的发展。大大数据是第三次浪潮的华彩数据是第三次浪潮的华彩乐章乐章让海量数据产生价值，使数据成为宝贵“资产”。大大数据产生大数据产生大价值价值大数据所催生的硬件、软件及服务市场产生了巨大的价值；通过大数据推动的相关行业（制造业、医疗