数据仓库数据架构分析报告.ppt

综合纳税服务平台二期开发项目目录Page 2 n税务行业数据仓库现状n数据仓库理解 n数据仓库的建设路线规划n数据集市的建设路线规划部分省级税务局数据架构数据规划原则交易库数据量相对稳定交易库数据量相对稳定查询统计与交易分离查询统计与交易分离统一数据标准和口径统一数据标准和口径集成的统一数据视图集成的统一数据视图基于用户数据分析需求基于用户数据分析需求按业务类型分类管理按业务类型分类管理预先处理，一次计算，预先处理，一次计算，多处共享多处共享效率优先，分区存储效率优先，分区存储空间换时间，多维空间换时间，多维按分析主题分集市按分析主题分集市数据规划原则税务总局数据架构国税征管系统地税征管系统其它数据源区数据准备区ODS区数据仓库宏观税源分析征管状况分析其它集市数据集市在线历史数据区近几个月数据近两年明细数据其它数据区电子档案数据指标数据其它近十年数据近十年分析数据离线历史数据区国税征管地税征管其它国税征管地税征管其它基础数据轻度汇总其它确保数据量相对稳定数据架构之交换层ETL地税源ORACLE国税源大集中网络发票EXCEL等数据登记停业注销DJ_GTY_GZX_GZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT T_DJ_JGNSRT_FP_FPFSPZT_FP_FPFSPZMXT_DM_GYSWJG 数据层总体架构数据架构之ODS层法人库法人库T_DJ_JGNSRT_ZS_YZMXT_ZS_YZMX_LS发票库发票库税务机关库税务机关库T_DM_GY_SWJGT_DM_GY_SWJG仓库总体数据架构ODS数据整合区汇总区数据集市区数据层反馈区源数据交换层DJ_GTY_GZX_GZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT T_DJ_JGNSRT_FP_FPFSPZT_FP_FPFSPZMXT_DM_GY_SWJG T_FP_FPFSPZT_FP_FPFSPZMXZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT数据架构之交换层ETL地税源ORACLE国税源大集中网络发票EXCEL非结构化数据登记停业注销DJ_GTY_GZX_GZX_KP_KJXXZX_KP_KJXX_MXZX_KP_NSRZT T_DJ_JGNSRT_FP_FPFSPZT_FP_FPFSPZMXT_DM_GYSWJG 数据仓库数据架构ODS数据整合区汇总区数据集市区数据层反馈区源数据交换层广东省地税数据利用现状大集中个税管理其它在线发票外部数据数据源区确保数据量相对稳定分发分发广州数据广州数据明细数据数据仓库数据仓库汇总数据加工加工税源综合管理系统任务管理复制复制决策支持准决策支持准备数据备数据明细数据数据仓库数据仓库汇总数据加工加工块策支持系统基本查询基本分析纳税评估业务快线纳税档案综合分析 文档管理名单管理监控预测 疑点挖掘分类管理复制复制发票准备数发票准备数据据明细数据数据仓库数据仓库轻度汇总ETL发票二期数据利用系统报表应用数据分析监控预警明细数据数据集市数据集市汇总数据维度维度汇总汇总查询统计复制复制直属分局相关数据直属分局相关数据明细数据汇总数据直属分局税费监控平台报表应用会统分析社保监控查询统计ETL工具比较 支持平台 支持数据源 数据转换功能 管理和调度功能 集成和开放性 管理元数据 ETL过程在整数据仓库应用过程中通常会占到80%的比重，可见其在数据利用系统建设中的重要性，下面从以下几个方给出业界主流的三种工具比较：ETL工具比较关键功能点关键功能点InformaticaAscential DataStage1：性能要求：性能要求 专用数据库驱动支持有 大批量数据转移(调用数据库自身功能,load)支持没有，通过写脚本间接支持（7版后有针对不同数据库的load stage） 进程并发处理支持支持 线程并发处理支持没有 负载均衡PowerCenter支持没有 对CPU、内存的可管理和分配支持没有 稳定性在NT平台上不够稳定较好 处理速度较快较好 大数据量压力测试810G/小时较好2：调度：调度 任务调度计划支持有 基于时间的调度/基于事件的调度支持支持 提供调度的API供运维平台调用支持有 并发任务调度支持需要用DataStage TX产品ETL工具比较 任务的监控任务的监控支持支持支持，但对于进程附加任务无法监控支持，但对于进程附加任务无法监控 错误信息的捕捉支持支持，但很多时候信息不准确3：元数据接口：元数据接口 元数据是否采用RDBMS储存、OS支持情况采用RDBMS储存，支持多种OS 元数据库备份/恢复支持支持 元数据库的迁移支持支持 元数据库是否支持平滑升级 支持 元数据交换，与PowerDesigner/Erwin交换支持（Metadata Exchange） 支持 元数据交换，与OLAP、前端工具的交换支持与Essbase的数据交换（Metadata Exchange）支持 数据仓库表的创建与管理支持支持 元数据结构的开放程度开放MetaStage不能提供api接口 易于使用的元数据API接口元数据标准支持支持（XML格式导出） 感 谢 聆 听Interaction & Advice