大数据时代的数据治理.pptx

198119992003200520072009201120132019198819921996数据平台发展情况第一个DW“数据仓库”概念提出数据集市传统数据仓库兴起Hadoop项目诞生大数据计算大数据处理新一代数据平台时间数据之间没有统一标准数据难以快速集成和共享数据使用者无法理解数据模型数据质量问题堪忧跨平台数据传输困难难以基于海量数据进行业务创新数据不可知数据不可控数据不可取数据不可联用大数据治理连接大数据与业务创新摸家底全面梳理企业信息自动构建数据资产库01建立数据标准提升数据质量02建体系形成企业知识图谱为全企业提供数据价值03促应用解决各类元数据的采集；实现统一稳定的元数据存储；完成关系的获取和建立数据资产的自动化采集、存储人工智能的知识图谱构建自助化数据服务构建技术通过合理的技术找出数据问题并找到问题数据；从各个维度监控数据问题，并能通过最直观和快捷的方式反馈给相关责任人；实现问题发现、认责、处理、归档等数据问题的闭环解决流程等数据质量探查和提升技术1元数据数据质量主数据单个工具2数据资产管理数据治理平台自助服务平台集成平台全面的数据管理能力 元数据管理范畴：传统数据、大数据、工具、模板 对资产信息的自动获取：自动数据信息采集、自动服务信息采集与自动业务信息采集 支持一系列的采集器，并且多采用直连的方式来采集相关信息。清晰直观、操作便捷 能在一个界面全面了解到元数据信息 通过图像从更多维度、更直观地了解企业数据全貌和数据关系 通过H5等流行的展现技术实现各浏览器的兼容 支持界面的移植关注用户诉求、结合使用场景对业务人员：通过元数据管理的业务需求管理，能更容易地和技术人员沟通，便于需求的技术落地对开发人员：通过元数据管理能管控系统的开发上线、提升开发规范性，自动生成上线脚本，降低开发工作难度和出错几率对运维人员：通过元数据管理能让日常巡检、版本维护等工作变得简单可控，辅助日常问题分析查找，简化运维工作。数据获取数据准备数据服务开发数据共享发布keyword找到数据自助化业务元数据与技术元数据对接；自助化数据申请和订阅。提供数据自动化基于数据目录的数据服务开发；在线编辑数据模型，生成作业。使用数据规范化数据服务标准应用方式；数据通道提供平台支撑。治理数据可视化基于数据地图形成全链路监控；事前、事中、事后的数据质量检查。数据运维智能化全局的数据资产监控数据问题跟踪能力亿信华辰-睿治普元百度-数据众包全配置、自部署、零干预；动态缺失数据探查多维接入，自动化血缘与影响力分析数据团队一站式的数据众包服务，可根据特定领域、特定场景的客户需求，提供定制化的数据获取与加工方案的设计与执行服务， 为客户交付标准化结构化的可用数据，数据类型涵盖文本、图像、音频、视频、网页等。平台化、可视化、智能化睿治是一款覆盖数据全生命周期的数据治理平台，它通过对数据从创建到消亡全过程的监控和治理，实现数据的统一管理，保证了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性。