建设数据仓库八个步骤.docx

《建设数据仓库八个步骤.docx》由会员分享，可在线阅读，更多相关《建设数据仓库八个步骤.docx（20页珍藏版）》请在优知文库上搜索。

1、大数据技术部建设数据仓府的八个步2017年04月25日编制建设数据仓库的八个步骤摘要f建立数据仓库是个解决企业问题的过程，业务人员往往不懂如何建立和运用数据仓库，发挥其决策支持的作用：信息部门的人员往往又不懂业务，不知道应当建立哪些决策主题.关键词：建设数据仓库建立是一个解决企业问题的过程，业务人员往往不懂如何建立和运用数据仓库,发挥其决策支持的作用；信息部门的人员往往又不懂业务,不知道应当建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应当由业务人员和信息部门的人员共同组成，双方须要相互沟通，协作开发数据仓库开发数据仓库的过程包括以下几个步骤。1.系统分析，确定主题建立数据仓

2、库的第个步骤就是通过与业务部门的充分沟通，了解建立数据仓库所要解决的问题的真正含义，确定各个主题下的查询分析要求。业务人员往往会排列出很多想解决的问题，信息部门的人员应当对这些问题进行分类汇总，确定数据仓库所实现的业务功能。一旦确定问题以后，信息部门的人员还须要确定一下几个因素： 操作出现的频率，即业务部门每隔多长时间做一次在询分析。 在系统中须要保存多久的数据，是一年、两年还是五年、十年。 用户查询数据的主要方式，如在时间维度上是依据自然年，还是财政年。 用户所能接受的响应时间是多长、是几秒钟，还是几小时。由于双方在理解上的差异，确定问题和r解问题可能是一个须要多次往复的过程，信息部门的人员

3、可能须要做些原型演示给业务部门的人员看，以最终确定系统将要实现的功能的确是业务部门所须要的。2.选择满足数据仓库系统要求的软件平台在所要解决的问题确定后，其次个步骤就是选择合适的软件平台,包括数据库、建模1：具、分析工具等。这里有很多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： 厂商的背景和支持实力，能否供应全方位的技术支持和询问服务。 数据库对大数据量（级）的支持实力。 数据库是否支持并行操作。的否供应数据仓库的建模工具，是否支持对元数据的管理。 能否供应支持大数据量的数据加载、转换、传输【:具OO 能否供应完整的决策支持工具集，满足数据仓库中各类用户的

4、须要.3 .建立数据仓库的建辑模型具体步骤如下:（1）确定建立数据仓府逻辑模型的基本方法。（2）基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。（3）识别主题之间的关系。（4）分解多对多的关系。（5）用范式理论检验逻辑数据模型。（6）由用户审核逻辑数据模型。4 .逻辑数据模型转化为数据仓库数据模型具体步骤如下:(I)删除非战略性数据：模型中不须要包含逻辑数据模型中的全部数据项，某些用于操作处理的数据项要删除。(2)增加时间主键：数据仓库中的数据肯定是时间的快照，因此必需增加时间主键。(3)增加派生数据：对于用户常常须要分析的数据，或者为了提高性能，可以增加派生数据。(4)加入不同级别粒

5、度的汇总数据：数据粒度代表数据细化程度，粒度越大，数据的汇总程度越高。粒度是数据仓库设计的一个重要因素，它干脆影响到驻留在数据仓库中的数据量和可以执行的查询类型。明显，粒度级别越低，则支持的查询越多：反之，能支持的查询就有限。对数据操作的效率与能得到数据的具体程度是对冲突，通常，人们希望建成的系统既有较高的效率，又能得到所需的具体资料。实施数据仓库的个由要原则就是不要试图包括全部具体数据，因为90%的分析需求是在汇总数据上进行的。试图将粒度细化到最低层，只会增加系统的开销，降低系统的性能。5 .数据仓阵数据模型优化数据仓库设计时，性能是一项主要考虑因素。在数据仓库建成后，也须要常常对其性能进行

6、监控，并随着需求和数据量的变更进行调整。优化数据仓库设计的主要方法是： 合并不同的数据表。 通过增加汇总表避开数据的动态汇总。 通过冗余字段削臧表连接的数量，不要超过3、5个。 用代码而不是描述信息作为健值。对数据表做分区。6 .数据清洗转换和传输由于业务系统所运用的软硬件平分不同，编码方法不同，业务系统中的数据在加载到之前，必需进行数据的清洗和转换，保证数据仓库中数据的一样性。在设计数据仓府的数据加载方案时，必需考虑以下几项要求： 加载方案必需能够支持访问不同的数据库和文件系统。 数据的清洗、转换和传输必需湎足时间要求，能够在规定的时间范围内完成。 支持各种转换方法，各种转换方法可以构成一个

7、I：作流。 支持增量加载，只把自上次加载以来改变的数据加载到数据仓库,7 .开发数据仓库的分析应用建立数据仓库的最终目的是为业务部门供应决策支持实力，必需为业务部门选择合适的工具实现其对数据仓庵中的数据进行分析的要求。信息部门所选择的开发工具必需能够：满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同。如有的用户只是简洁的分析报表，有些用户则要求做预料和趋势分析。供应敏捷的表现方式。分析的结果必需能够以直观、敏捷的方式表现，支持困难的图表。运用方式上，可以是客户机/服务器方式，也可以是阅读器方式。事实上，没有一种工具能够满足数据仓库的全部

8、分析功能需求，个完整的数据仓库系统的功能可能是由多种工具来实现，因此必需考虑多个匚具之间的接口和集成性问题，对于用户来说，希望看到的是一样的界面。8 .数据仓库的管理只重视数据仓库的建立，而忽视数据仓库的管理必定导致数据仓阵项IJ的失败。数据仓薛管理主要包括数据库管理和元数据管理。数据库管理须要考以下几个方面： 平安性管理。数据仓率中的用户只能访问到他的授权范围内的数据，数据在传输过程中的加密策略。 数据仓座的备份和到原。数据仓库的大小和备份的频率干脆影响到备份策略. 如何保证数据仓库系统的可用性，硬件还是软件方法。 数据老化。设计数据仓库中数据的存放时间周期和对过期数据的老化方法，如历史数据

9、只保存汇总数据，当年数据保存具体记录.然而，元数据管理贯穿于整个系统的建设过程中，元数据是描述数据的数据。在数据采集阶段，元数据主要包括下列信息: 源数据的描述定义：类型、位置、结构。 数据转换规则：编码规则、行业标准0 目标数据仓府的模型描述：星型/看花模型定义，维/事实结构定义。 源数据到目标数据仓庠的映射关系：函数/表达式定义。 代码：生成转换程序、自动加载程序等。在数据管理阶段，元数据主要包括下列信息: 汇总数据的描述：汇总/聚合层次、物化视图结构定义。 历史数据存储规则：位置、存储粒度。 多维数据结构描述：立方体定义、维结构、度量值、钻取层次定义等在数据呈现阶段，元数据主要包括以下信

10、息: 报表的描述：报表结构的定义。 统计函数的描述：各类统计分析函数的定义。 结果输出的描述：图、表输出的定义C元数据不但是独立存放，而且对用户是透亮的，标准之间可以相互转换。1、培训目的1.1 改善部门各级各类员工的学问结构、提升员工的综合素养，提高员工的工作技能、工作看法和行为模式，满足部门的快速发展须要，更好的完成部门的各项工作支配与工作目标。1.2 、加强部门各级各类员工职业素养与敬业精神,增加员工服务意识与服务水平，打造高绩效团队，削减工作失误，提高客户满足度，提高工作效率。1.3 提升部门凝合力、吸引力、向心力和战斗力，为部门进一步发展储备相关人才。1.4 熬炼员工的学习表达实力。

11、1.5 完善部门各项培训制度、培训流程以与建立系统的培训体系，实现各项培训工作顺当、有效实施。2、培训原则2.1 以部门战略与员工需求为主线。2.2 以素养提升与实力培育为核心。2.3 以针对性、好用性、价值型为重点。2.4 以项目式培训和持续性培训相互穿插进行。2.5 5坚持理论与实践相结合、学习与总结相结合。2.6 6坚持部门内部培训为重点、内训与外训相结合。2. 7坚持学历性教化培训和岗位培训相结合。2.8实现由点、线式培训到全面系统性培训转变。3、培训的实施3. 1培训内容的确定部门全部成员对自己要培训的需求提出建议，相关负责人收集并统计,依据统计结果，按需求量较大或需求的紧迫性来确定

12、培训的内容。3.2培训方式分为正式培训和技术沟通。正式培训须要讲师打算、有关课件，利用投影等设备进行讲授，并进行培训效果考核和学员成果考查。技术沟通可不打算课件，干脆采纳即兴口头演讲的方式进行。3. 3培训时间依据学习要求，不定期进行有关主题内容的培训。3.4 讲师支配讲师实行报名制。依据部门发布的员工培训需求统计结果，选择自己熟识或感爱好的培训科目报名。部门经理依据报名状况确定讲师人选。3.5 培训效果评估1 .4.1培训后，参与人员对培训的讲师、培训的内容、总体效果等做出评价。3 .4.2讲师打算10个以内的培训内容相关的试题，受训者依据培训内容来做答，经讲师批阅后整理到员工培训考核成果表

13、，并把成果表交由部门经理批阅，最终相关负责人存入个人培训档案.3. 5奖惩方式对于正式培训，培训完后，参与培训人员给讲师打分，依据打分状况赐予讲师0、1、2、3分积分。对技术沟通，依据培训内容和效果，赐予全部主要参与者0.1,2分不等的积分。参与培训者考核合格后赐予0.5、1分不等积分。年终累计积分，依据积分状况蜴F嘉奖。对于年终参与培训积分不足年度部门总培训积分的80%者，赐予肯定4、培训材料4. 1员工培训签到表4. 2讲师应提前打算好培训的，假如培训项目开发学问应打算好实例。4.3 培训内容相关的试题4.4 内部培训效果评估表4.5员工培训考核成果表5、相关附件附件一员工培训筌到表培训内容培训时间培训讲师培训地点培训方式考核方式应到人数实到人数缺席人数出勤率序号姓名出席时间O离席时间备注序号姓名出席时间离席时间备注1.2.3.1.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.4().41.42.43.41.45.46.47.48.49.50.评估项目好一般整培训