-数据工程白皮书-.docx
《-数据工程白皮书-.docx》由会员分享,可在线阅读,更多相关《-数据工程白皮书-.docx(15页珍藏版)》请在优知文库上搜索。
1、”数据工程白皮书“1、数白据皮工书程数据工程白皮书引言1什么是数据2数字化转型浪潮下的企业数据3企业数据流转链路分析4数据工程概述6什么是数据工程7数据工程价值8数据工程落地与力量建设10数据工程落地10数据工程力量建设28数据工程展望33数据工程白皮书数据是新一代技术革命下的生产要素,把握了生产要素与生产要素的加工方式就是把握了数字经济下的价值密码。引言新生产要素的崛起数据纵观历史,伴随着科学技术的进展以及社会形态的演化,在社会进展的不同阶段,生产要素的数量不断增加,并且每个历史进展阶段,不同生产要素的重要程度也始终在发生变化。在信息技术革命到来之前,社会经济学公认的四大生产要素分别为:土地
2、、劳动、技术和资本,而2、随着信息技术革命的到来,数据的产生与应用已经渗透到各行各业的生产经营活动之中,数据已经成为继土地、劳动、资本、技术之后的第五大生产要素。数据之重要,已不单单局限于企业内部的认知,更是成为全社会的共识。在2022年11月工信部发布的十四五大数据产业进展规划当中,更是把数据要素的价值转化提升到了国家层面,进一步突出了数据作为国家基础战略性资源的重要地位。图:生产要素在不同阶段的变化生产要素土地、劳动土地、劳动、技术、资本土地、劳动、技术、资本土地、劳动、技术、资本、数据简单程度农业社会第一次工业革命其次次工业革命信息技术革命历史阶段33在当今数字经济时代,一方面企业在经营
3、的过程中时刻都在3、产生大量数据,这些数据从业务过程中产生,并蕴含着大量学问;另一方面,面对如此重要的生产要素,许多企业无法将其好好利用。而数据又与土地等生产资料不同,其有比较强的时效性,也就是数据对生产的促进作用会随着时间的推移渐渐降低,假如不准时利用将会导致数据价值白白流失,这对企业是一种极大的损失。而要搞清晰数据价值如何落地,就必定要分析数据的生命周期,包含数据的产生、收集、存储、传输、处理、应用等多个阶段,搞清晰数据从哪里来,到哪里去,怎么使用。数据全流程的不同阶段,需要依靠各种信息系统进行落地,我们将落地过程中涉及到的工程实践统称为数据工程。数据工程的好与坏,直接关系到企业内部数据价
4、值转化效能。接下来我4、们将系统地介绍数据定义、数据工程的定义、数据工程实施原则。什么是数据通常,数据是通过观测得到的数字性的特征或信息,是一组关于一个或多个人或对象的定性或定量变量,数据不仅指的是数字,还可以是有意义的文字、字母、符号的组合,也可以是图像、图形、视频和音频等。通常而言,从数据组成形态的视角,我们可以将数据分为结构化数据、非结构化数据、半结构化数据三种。结构化数据:通常由明确定义的信息组成,这些信息可以通过高度组织化的表格或数据库进行搜寻、维护或跟踪。常见的结构化数据如关系型数据库中的客户数据、订单数据、产品数据以及由人工维护的Excel表格等。半结构化数据:是结构化数据的一种
5、特别形式,它没有5、固定的结构,因此它不遵循表格数据模型或关系数据库的格式,但是它包含了一些易于分析的结构化元素,例如标记。非结构化数据:是指没有固定组织原则的未经过滤的信息,如图像、视频、音频文件以及文本信息等。非结构化数据的形式多样,无法用关系数据库储存,且数据量通常较大。图:不同结构数据的关系结数构据化半结数构据化非结数构据化总的来说,结构化数据、非结构化数据、半结构化数据的最主要区分在于是否存在预先定义好的数据模型。结构化数据能够用统一的某种结构加以表示,离开了这种结构,数据就没有意义;非结构化数据没有概念数据模型形式的限制,可以自由表达;半结构化数据介于上述两者之间。数字化转型浪潮下
6、的企业数据在了解了6、数据详细含义的状况下,企业想要更好的管理数据、利用数据,就必需了解数据在现代企业中的产生源头、组织形态等。现代企业数据的产生离不开企业的数字化转型,企业数字化转型程度凹凸则直接影响了数据的利用效率,在分析了众多企业数字化转型的案例之后,我们认为企业数字化转型一般分为三个阶段:信息化:信息化为企业数字化转型的初级阶段,此阶段侧重于将企业生产制造过程、物料转移、事务处理、资金流淌、客户交互等流程进行电子化,其整个思维导向以流程管理为主,以无纸化办公为目标,旨在提升企业流程管理效率,这一阶段的企业主要呈现为系统离散化,数据碎片化的特点。智能化:在企业拥有大量数据的背景下,伴随着
7、人工智能领域技术的7、快速进展,原本只在学术界活跃的人工智能算法与模型能够快速在商业领域落地,智能算法与模型极大提高了企业从数据中提取业务学问的效率,企业各种系统与应用变得越来越智能,系统在算法与模型的关心下可以自学习学问、再制造学问。智能化由于自然的高效,成为了企业数字化转型的必定趋势,此时系统构建的思维导向为业务创新,旨在利用人工智能算法与模型解放生产力、查找新商机。此阶段企业主要呈现为系统自动化、数据模型化与智能化的特点。数字化:在企业信息化达到肯定程度之后,由于业务的快速进展,原有流程和系统已经不能满意企业的管理诉求,企业渐渐由流程管理转向业务管理,企业对其业务进行细粒度的拆分、分析与
8、优化,便于对制造流8、程、业务流程、用户旅程等进行管理、分析与改善,这一阶段为企业数字化转型的中级阶段,主要强调数字对商业的重塑,转型过程中通常伴随着组织结构的调整,赋能企业商业模式不断创新和突破。处于这一阶段的企业信息化主要呈现系统平台化、数据集约化与模型化的特点。图:企业数字化转型三个阶段业务流程电子化业务数据化业务创新化系统离散系统平台系统智能系统数据碎片数据数据模型智能模型信息化企业数据流转链路分析数字化智能化数据只有依托于信息系统,才能在企业内部流转起来。数据在企业内部会经过一系列的处理才能最终产生价值,一般我们会简化为以下几步:数据产生:一般而言,企业数据由生产活动以及服务客户的过
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 工程 白皮书