银行数据仓库项目方案[57页].docx

《银行数据仓库项目方案[57页].docx》由会员分享，可在线阅读，更多相关《银行数据仓库项目方案[57页].docx（55页珍藏版）》请在优知文库上搜索。

1、XX银行EDW/数据仓库项目方案目录第一章系统总体架构41.1 总体架构设计概述41.1.1 总体架构的设计框架41.1.2 总体架构的设计原则51.1.3 总体架构的设计特点51.2EDW执行架构61.1.1 执行架构概述61.1.2 执行架构设计原则61.1.3 执行架构框架71.3 EDW逻辑架构141.3.1 逻辑架构框架141.3.2 数据处理流程2O1.4 EDW运维架构211.4.1 运维架构概述211.4.2 运维架构的逻辑框架221.5EDW数据架构271.5.1 数据架构设计原则271.5.2 数据架构分层设计291.6EDW应用架构311.6.1 应用架构设计原则311.

2、6.2 数据服务321.6.3 应用服务33第二章ET1.体系建设342.1 ET1.架构概述342.2 ET1.设计方案362.3 EII关键设计环节362.3.1 接口层设计策略362.3.2 StagingArea设计策略362.3.3 数据加载策略372.3.4 增量ET1.设计策略372.3.5 异常处理392.3.6 作业调度和监控4O2.3.7 元数据管理4O2.3.8 IrT1.模块设计4O2.3.9 ET1.流程设计432.3.10 动态资源分配452.3.11 数据接口设计46第一章系统总体架构1.1 总体架构设计概述1.1.1 总体架构的设计框架XX银行EDW项目的总体架

3、构分为基础技术架构、应用架构和数据架构三个核心部分.这三个部分共同组成rXX银行EDU1系统。在基础技术架构中，包括执行架构、逻辑架构、功能组件架构和运维架构四个部分。 执行架构描述系统大的框架和模块区域，以及之间的逻辑关系；是确定生产环境的建设要求及指导原则。 逻辑架构描述EDW各个模块之间的数据的接口、数据流向、工具使用和采用具体的技术实现手段或方式情况，用丁规范本项目最终生产环境的建立。逻辑架构是建立应用架构、执行架构、运维架构的基础，也是建立执行架构、应用架构以及运维架构的原型系统。 功能组件架构描述确定系统各个大的组件组件区域的功能模块框架，以及提供的某种服务类型。 运维架构是描述E

4、皿项目的运维架构标准，包括运维架构设计的内容、设计原则、各构成组件的设计考虑因素、约束、要求等。运维架构通过相应的流程和工具实现对逻辑架构、功能组件架构、执行架构、数据架构以及应用架构的运维和管理。而数据架构和应用架构的主要描述： 应用架构是EDW为满足业务需求所提供的系统应用功能及其蓝图设计，其中业务需求是应用架构设计的基础，最终的应用架构将以应用系统的形式体现在执行架构中，主要包括：应用服务和数据服务。 数据架构描述于E1.W系统相关的数据流动策略，即数据在EDW系统的执行架构卜的抽取、转换、储存策略以及应采用的流程，包括数据层次和总分行之间的数据分部情况等。数据架构是建立执行架构标准的需

5、求定义。下图是EDW项目总体架构的框架：丛础技术架构112总体架构的设计原则 总体架构在若近考虑实施要求的同时，需要为后续阶段进行规划，以保证项目最终能够达到目标架构的设计； 总体架构的设计要基石包括XX银行数据现状分析、实施阶段数据源情况分析、第一阶段实施RDW设计建议做为参考： 总体架构设计架构时充分考虑与现有系统兼容，充分利用已有成果，避免盘豆开发和建设。 总体架构设计过程中应遵守XX银行的IT管理规程，保证最终的系统可以顺利的部署并移交给XX银行的运行维护部门。1.1.3总体架构的设计特点 权衡功能、性能、可扩展性、易用性、可管理性和性价比。 根据XX银行的数据情况和分析需求，采用多层

6、次的企业EDW系统架构来保证在存在笈杂的数据种类和关系的海量数据上进行业务分析和查询在业务支持能力和性能等方面的要求。 多级/自动的增量IH1.加载机制，有效提高ET1.并发度、加载效率，降低错误处理的品杂性. 通过用户入口支持用户枭用WCb浏览器使用查询和分析工具.统的信息服务界面,提高系统易用性，减少技术支持工作量。 利用企业信息集成和WOb数据服务，提高系统的数据支持能力和接口的-致性。统一的数据增强平台也减少数据增强的纪杂度。1.2EDW执行架构执行架构的主要内容是描述EDN项目执行架构的建设要求及指导原则，用于规范本项目最终生产环境的建设。EDW项目的生产环境的建立需要参考并遵循执行

7、架构部分提出的要求。121执行架构概述执行架构是EI)W的概念环境，主要包含：源数据、数据落地区、ET1.,数据准备区、数据存储区EDW、业务应用、用户环境、数据管控、系统安全性以及EDW基础设施平台(包括：服务器、存储、网络等功能组件“从技术层面上来说，EDW系统的执行架构应实现多种技术平台及应用之间的无缝集成。122执行架构设计原则在EDW项目实施的过程中，系统执行架构的建设应遵循以下技术原则：开放性原则：EDW项目的牛产环境的建设应基于业界开放标准，对系统中使用的网络协议、硬件接口、数据接口等应进行统一规划，EDW系统应支持主潦的应用软件包及其部署的各种硬件平台。“灵活性与可扩展性：ED

8、w系统的基础设施平台应能然根据未来系统的发展需要以及应用需求，方便的扩展设备容垃和提升设符性能：具备支持多种组件模块、多种物理接口的能力：具备技术升级、设符更新的灵活性：具备支持业务功能的扩展与重构的灵活性.:系统容量可以随着ET1.系统数据量的扩展以及应用系统的不断扩展、用户量不断扩展而进行平滑的扩展。高性能原则：系统应达到数据处理时间窗口的要求，用户定义的告询效率、响应时间的要求，满足业务系统的要求：对现有业务系统影响小。，自动化原则：EDW项目建设的核心任务之一是数据抽取、转换、清洗和加教（ET1.）,在这个过程中应采用自动化的设计原则，避免手工操作。同时对于元数据管理过程应采用元数据管

9、理平台来实现对元数据集中、自动化的管理。安全性原则：EDM项目建设中的数据迁移过程都必须保证数据的安全性，例如：在系统建设过程中应对数据中敏感字段进行安全处理、同时整个系统还应采用网络隔离、用户身份认证及访问控制、数据库安全、操作系统安全以及完善的安全审计机制.123执行架构框架上图是EDW系统执行架构，其中包含EDW系统中涵盖的功能框架以及框架之间的逻辑关系。在以下的内容中将对执行架构中的功能框架以及框架之间的关系进行详细描述，具体内容包括：数据源：包括XX银行的多个业务系统，主要有核心系统、个贷系统、信贷系统、国际业务系统、财务系统和各类渠道系统等。“数据落地区：此部分内容说明数据落地的用

10、途，同时对数据落地区应具备的功能进行了标准定义以及数据落地区与其他功能组件之间的关联关系：ET1.：此部分内容描述ET1.系统中数据抽取、转换、加载等功能的需求，同时定义了ET1.系统建设的标准以及ET1.与系统中其他功能组件之间的关系：，数据准备区：此部分描述数据准备区应具备的功能.以及数据准备区在建设过程中的标准需求。操作型存储区：此部分内容描述EM系统在建设的过程中操作型存储区应遵循的标准以及系统建设过程中应满足的需求：，数据仓库存储区：此部分内容描述EDw系统的数据仓库存储区应遵循的标准以及系统建设过程中应满足的需求：业务应用：此部分内容描述B1.应用系统建设的系统需求，包含对应用环境

11、、分析环境、静态报表环境：用户环境：此部分的内容描述用户在EDW系统中应具备运用的能力，包括：利用通用展现平台进行信息屣现、驾驶他应用、报表应用等；时间窗口和性能的定义：此部分描述整个EDW项目中关于时间窗口的定义以及相关系统的性能指标要求：“元数据管理：此部分描述在系统执行架构中元数据管理的内容以及元数据管理系统的建设的标准定义；，系统安全性：此部分内容主要描述EDW系统中的安全性管理内容，包括应用安全、网络安全、数据安全、系统安全等，同时描述系统安全在建立过程中遵循的原则；基础设施平台（服务器、网络、存储）：此部分内容主要描述生产系统中的硬件资源，包括：服务器，网络以及存:储的资源需求，容

12、量规划应满足的系统指标等内容：1231数据源源数据系统是报表、关钺指标、灵活查询、主题分析等应用系统的基础数据来源，在系统建设初期,源数据系统应提供能满足初始业务需要的数据以及业务系统需耍提供完整数据的时间窗口，在EiW系统扩展的过程中，各个源数据系统中的数据将逐渐的加载到E战系统当中.源数据无法满足应用需求时，系统应提供手工方式通过手工数据补入平台将需要的数据补入到EDW系统中。目前数据源包括XX银行的多个业务系统，主要有核心系统、个贷系统、对公信贷系统、国际业务系统、财务系统和各类渠道系统等。1232数据落地区数据落地区是为了保证多系统对源系统数据抽取的需求，在数据从源数据系统抽取后在统一

13、的数据集成环境中整合。数据落地区应建立与各相关源数据系统的接口，将这些系统定期和载的数据以固定的格式接收、存放到落地区，考虑数据传输和加载的速度，源数据系统应以文本文件格式聘数据定期传输给数据落地区进行处理。数据落地区的数据存储格式原则上是与数据源的存储格式保持一致1233数据E1.1.架构ET1.是数据的抽取、转换、加载的全部过程，它是数据从数据落地区到ET1.服务器以及从ET1.服务器到EDW的数据迁移过程以及数据从EDW向数据集市的数据迁移过程中必须使用的过程和方法，ET1.系统应包括以卜.三个主要功能： 数据抽取：从数据落地区系统抽取EDW中需要的数据： 数据转换：将从源数据系统获取的

14、数据沛换成EDW要求的形式,同时按照业务需求对数据进行转换： 数据加载：将助转换后的数据装载到EDW的物理模型中：123.4 数据准备区数据准备区是数据存储的临时存储区域，数据在其中只作暂时性保存，数据经转换后导入到EDW的物理模型中。数据准备区的功能包括：格式转换、排序去重/筛选、通用基础清洗、连接/合并/分割、业务转换等1235操作型存储区操作型存储区是数据仓库系统一个全要的环节。该区有着承上启下的作用，从数据形态来看，该区的数据定义贴近业务源系统；从数据标准来看，该区的数据标准是遵循数据仓库系统的标准。所以该区一股分为两个层次，第一个层次称之为良好质量的、统一格式的数据贴源层，第二个层次

15、为统一的、规范的、遵循数据仓库系统标准的数据标准层。数据贴源层可以继续为行内现有的一些报表系统或者分析系统提供数据，而数据标准层为数据仓库中的企业数据模型的落地扫清了道路，所以该存储区在整个EDW系统起到了一个承上启卜的关键作用。123.6 EDW存储区EDW存储区是面向主题的、集成的、面向企业的、最明细的数据存储，其内容是依据最终用户应用和分析需求来进行组织。数据存储区中的数据模型对标准层数据、基础整合数据、汇总数据和面向应用的集市数据按数据层次进行管理，每个数据层有自己的数据管理IR点。对于每个数据层次，再按主题进行分类组织。这样就可以有效的将银行企业的操作型数据、汇总型数据和分析型数据以清晰的架构组织、管理起来，并相辅相成，数据层的内容相比促进发展，组成侬行完善的数据集合，为各种主题管理应用的构建提供良好的数据架构基础。123.7 业务应用业务应用是EDH1系统向业务用户提供应用功能支持，根据应用服务提供的形式和所采用的应用系统的不同，业务应用主要定义在以卜几个技术环境。数据集市：在业务应用乂中包含