大数据技术与应用基础第1章大数据概述.pptx

P1第1章 大数据概述大数据技术与应用基础21世纪高等院校“云计算和大数据”人才培养规划教材第1章 大数据概述P1第1章 大数据概述能力CAPACITY要求掌握大数据技术的基本情况，了解大数据和云计算行业的新技术。具有良好的自学能力，对新技术有学习、研究精神，具有较强的动手操作能力。培养良好的职业道德。P1第1章 大数据概述内容CONTENTS导航大数据的概念及特征大数据的发展大数据的产生及数据类型大数据计算模式和系统大数据的主要技术层面和技术内容大数据的典型应用P1第1章 大数据概述一、大数据的发展大数据综述Google上每天需要处理24PB的数据；淘宝累计的交易数据量高达100PB；每天会有2.88万个小时的视频上传到Youtobe； 根据国际数据公司IDC的测算，到2020年数字世界将产生35000EB的数据。大规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力。因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。P1第1章 大数据概述一、大数据的发展大数据有多重要P1第1章 大数据概述一、大数据的发展国家政策P1第1章 大数据概述内容CONTENTS导航大数据的发展大数据的概念及特性大数据的产生及数据类型大数据计算模式和系统大数据的主要技术层面和技术内容大数据的典型应用P1第1章 大数据概述二、大数据的概念及特性大数据的概念：关于大数据难以有一个非常定量的定义。大数据 在信息技术中，“大数据”是指一些使用目前现有数据库管理工具或者传统数据处理应用很难处理的大型而复杂的数据集。 其挑战包括采集、管理、存储、搜索、共享、分析和可视化。维基百科“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。Gartner大数据指的是那些大小超过标准数据库工具软件能够收集、存储、管理和分析的数据集。 麦肯锡P1第1章 大数据概述二、大数据的概念及特性大数据的特性1大体量（Volume）3时效性（Velocity）2多样化（Variety）4大价值（Value）P1第1章 大数据概述内容CONTENTS导航大数据的发展大数据的产生及数据类型大数据的概念及特性大数据计算模式和系统大数据的主要技术层面和技术内容大数据的典型应用P1第1章 大数据概述三、大数据的产生及数据类型（1）企业内部及企业外延。企业原有内部系统如ERP、OA等应用系统所产生的存储在数据库中数据，这部分数据属于结构化数据，可直接进行处理使用，为公司决策提供依据。近年来互联网、云计算、移动互联网、物联网及社交网络等新型信息技术的发展，使得数据产生来源非常丰富：（2）互联网及移动互联网。移动互联网促进更多用户从传统的数据使用者转变为数据生产者。（3）物联网。物联网技术的发展，使得视频、音频、RFID、M2M、物联网和传感器等产生大量数据，其数据规模更巨大。P1第1章 大数据概述三、大数据的产生及数据类型数据类型结构化数据半结构化数据数据类型很多，此处从不同方面分析。按数据类型：按生产主体：按数据作用方式：非结构化数据企业应用产生的少量数据用户产生的大量数据机器产生的巨量数据交易数据交互数据按数据类型：按生产主体：按数据作用方式：P1第1章 大数据概述内容CONTENTS导航大数据的发展大数据计算模式和系统大数据的产生及数据类型大数据的概念及特性大数据的主要技术层面和技术内容大数据的典型应用P1第1章 大数据概述四、大数据计算模式和系统大数据计算模式及典型系统和工具大数据计算模式典型系统和工具大数据查询分析计算HBase，Hive，Cassandra，Premel，Impala，Shark，Hana，Redis等批处理计算MapReduce，Spark等流式计算Scribe，Flume，Storm，S4，Spark Steaming、Apex、Flink等迭代计算HaLoop，iMapReduce，Twister，Spark等图计算Pregel，Giraph，Trinity，PowerGraph，GraphX等内存计算Dremel，Hana，Redis等P1第1章 大数据概述内容CONTENTS导航大数据的发展大数据的概念及特性大数据的产生及数据类型大数据计算模式和系统大数据的主要技术层面和技术内容大数据的典型应用P1第1章 大数据概述五、大数据的主要技术层面和技术内容大数据主要技术层面和技术内容应用层系统层基础层算法层（1）基础层基础层主要提供大数据分布存储和并行计算的硬件基础设施。（2）系统层在系统软件层，需要考虑大数据的采集、大数据的存储管理和并行化计算系统软件几方面的问题。（3）算法层考虑如何能对各种大数据处理所需要的分析挖掘算法进行并行化设计。（4）应用层基于上述三个层面，可以构建各种行业或领域的大数据应用系统。P1第1章 大数据概述内容CONTENTS导航大数据的发展大数据的概念及特性大数据的产生及数据类型大数据计算模式和系统大数据的主要技术层面和技术内容大数据的典型应用P1第1章 大数据概述四、信息安全的要素P1第1章 大数据概述THANKS