环境信息数据仓库建设规划方案环保局的未来之路.docx

《环境信息数据仓库建设规划方案环保局的未来之路.docx》由会员分享，可在线阅读，更多相关《环境信息数据仓库建设规划方案环保局的未来之路.docx（19页珍藏版）》请在优知文库上搜索。

1、概述环境保护行业数据管理过程中面临问题应用软件开发仍停留在条块分割中，信息资源共享程度低环境管理业务与业务之间，环境保护部门日勺上下级之间，相对独立。目前，各省市环境信息化建设中日勺应用软件开发存在条块分割的现象，单一业务开发独立的应用系统，系统与系统之间往往无法对接,导致系统之间的信息不能互相共享，从而使环境信息资源共享程度不同JO部分区县环境信息化建设滞后，影响环境保护信息采集各省市环境信息化建设程度存在不均衡现象，部分县级环境信息化建设基本处在空白状态，这种不均衡状态严重影响全省环境信息化的整体水平。县（区）作为最基层的环境保护机构，对本辖区内的排污单位的有关信息掌握的最为清晰，对排污单

2、位的监督管理也最为以便直接，需要加强建设县（区）级环境保护应用，把信息的采集源头伸向县（区）环境保护机构。各级部门构建应用，存在反复建设。环境保护系统各级部门都建设自己的业务系统，在业务方面上级部门对下级部门的业务均有指导联络，业务的相似使得所建立的系统功能均有重叠，导致系统反复建设的现象存在。信息安全不达标，存在安全隐患数据集中是管理集中化、精细化的必然规定，是国家、省、市环境保护部门优化业务流程、管理流程时的必要手段。数据中心的建设成为环境保护数据集中趋势下的必然规定。在Web应用日益深化的环境下，企业数据中心应用的运行环境正从老式客户机/服务器向需要网络连接的中央服务器扩张。Web应用时

3、迅速发展与变革，直接影响到基础设施框架下多层应用程序与硬件、网络、操作系统的关系变得愈加复杂。数据仓库简介数据仓库概念始于上世纪80年代中期，初次出现是在被誉为“数据仓库之父WiIIiamH.Inmon0建立数据仓库一书中。伴随人们对大型数据系统研究、管理、维护等方面的深刻识认和不停完善，在总结、丰富、集中多行企业信息的经验之后，为数据仓库给出了更为精确的定义，即“数据仓库是在企业管理和决策中面向主题的、集成的、与时间有关的、不可修改的数据集合:数据仓库并没有严格的数据理论基础，也没有成熟的基本模式，且更偏向于工程，具有强烈日勺工程性。一般按其关键技术部份分为数据的抽取、存储与管理以及数据的体

4、现等三个基本方面。数据仓库的重点与规定是可以精确、安全、可靠地从数据库中取出数据，通过加工转换成有规律信息之后，再供管理人员进行分析使用。数据仓库重要是应用于决策支持系统，其重要目日勺是“提取”信息并加以扩展,用来进行处理基于数据仓库的决策支持系统（DSS）日勺应用。总体建设目W目的本次建设需完毕如下目的1）数据规划与整顿建设包括数据源分析与规划、数据互换平台搭建、地理信息平台搭建2）决策分析应用系统建设3）综合信息门户系统建设建设阶段按照生命周期发法可将数据仓库开发的所有过程提成三个阶段：1）数据仓库规划分析阶段2）数据仓库设计实行阶段3）数据仓库日勺应用阶段这三个阶段不是简朴的循环往复，而

5、是不停完善提高的过程。一般状况下数据仓库系统都不也许在一种循环过程中完毕，而是通过多次循环开发，每次循环都会给系统增长新的功能，这种循环的工作永远不会终止，数据仓库也就一直处在一种不停完善、不停提高的循环玩傅过程中。本次项目建设按以上原则分为 数据规划与整顿阶段 决策分析应用系统建设阶段 综合信息门户系统建设阶段数据规划与整顿建设环境信息数据仓库数据源分析与规划数据源分析与范围规划的最终目的是涵盖环境有关的所有数据，将分散的、原则不一日勺数据进行集成整合，实现由数据到信息日勺转化,提高数据质量，为减排目的制定（指标）、过程管理（监测）和最终评价（考核）等工作奠定全面日勺信息资源体系，为科学决策

6、、有效管理提供信息支持保障。环境信息数据仓库投入运行后，伴随信息范围的延伸和积累，可以建立面向不一样业务的知识库（如应急预案、总量分析），逐渐形成辅助决策的能力。环境信息数据仓库系统的数据源为基础数据库，基础数据库分类如下：1）污染源监督性监测基础数据库2）污染源在线监测基础数据库3）污染源常规监测基础数据库4）排污申报基础数据库5）排污收费基础数据库：重要用于存储环境保护部和各省环境保护厅排污收费的业务数据，包括污染源废气缴费数据、污染源废水缴费数据、污染源噪声缴费数据、建筑施工噪声缴费数据、排污费减免处理数据等。6）环境记录基础数据库：重要用于存储环境保护部和各省环境保护厅环境记录的业务数

7、据，包括工业企业污染排放处理运用数据、火电企业污染排放及处理租用数据、工业企业排放废水/废气中污染物监测数据等。7）建设项目管理基础数据库：重要用于存储环境保护部和各省环境保护厅建设项目管理的业务数据，包括建设项目基本数据、工业类项目申请数据、土地类项目申请数据、饮食娱乐类项目申请数据、项目跟踪数据。8）三同步验收基础数据库：重要用于存储环境保护部和各省环境保护厅三同步验收的业务数据，包括三同步项目审批数据、三同步项目试运行数据、三同步项目验收数据、三同步项目环评汇报数据。9）环境质量基础数据库：重要用于存储环境保护部和各省环境保护厅环境质量的业务数据，包括大气监测数据、地表水监测数据、地下水

8、监测数据、降尘监测数据、降水监测数据、区域噪声监测数据、道路交通噪声监测数据等。10）文档数据库：存储减排有关法律法规、应用原则等文档信息。11）信息分类及原则代码库：重要包括减排业务中的各类原则化代码，如污染源类别等。12）环境空间数据库：重要包括污染源、环境质量的J空间数据信息。环境信息数据仓库数据范围规划如下图：环保系统内部数据环保系统外部数据生态环境数据污染源在线 监测数据排污申报数堀污染源监督性 监测数提搏污收费戳据建设项目省理数据环境统计敷需公众监督与现场执 法数据污架源基础数据污染源数据环境质量数据自然生态数史I农村生态数据I生物多样性 保护数据核与辐射数据应急管理数据自然环境信

9、息社会环境信息文档数据信息分类及标准代码环境空间数据基础地图数据品号影像专题地图数据污染源专观期环境质星专IifB生态球境专题图图例II本项目内容后域增加内容（i远期缗加内容搭建数据互换平台搭建数据互换平台，建设ETL应用，实现ODS到数据仓库、数据仓库到数据集市的数据抽取、清晰、转换与加载。数据互换平台是数据中心数据域其他应用系统沟通的桥梁，是进行数据互换的基站。数据互换平台负责从各个业务系统采集数据，对数据进行清洗与整合，按照数据中心建设原则规范数据，形成关键数据库，并提供应其他应用系统使用。数据互换平台功能由支撑功能与应用功能两部分构成。支撑功能是数据互换平台的基础，包括数据采集、元数据

10、管理、数据互换服务总线、平台监控以及安全管理功能；应用功能是指与详细业务系统有关的功能，应用功能运用数据互换平台的数据互换服务总线，以数据互换服务日勺形式为各业务系统提供数据共享服务。环境信息数据仓库ETL过程如下图各ETL过程重要任务如下表源系统目的I数据库ETL重要任务基础数据库数据仓库抽取，转模，加载，清除反复数据数据仓库数据集市汇聚加载，满足Bl分析规定ETL重要任务源数据现实状况分析和映射每做一步ETL工作之前都应对源数据进行全面的分析，包括如下内容： 数据的业务范围及业务含义 数据所在平台，包括系统平台和数据库平台 数据构造 数据更新周期 数据更新方式 数据量数据抽取数据抽取从数据

11、源提取数据，供数据清洗和转换环节进行处理，数据抽取方式包括批量抽取和单次抽取两种方式，批量抽取可将所有历史数据一次性抽取完毕；单次抽取根据规则规定进行抽取。控制单次抽取可采用手工和自动两种方式，手工方式通过人为方式启动任务，自动方式基于调度程序，定期定期执行抽取任务。抽取的检查：在抽取完毕后，进行数据源与目的数据库的对比，发现并处理抽取过程产生的错误。抽取的日志记录：在抽取过程中要全程记录抽取日志，至少包括:数据记录条数、开始时间、完毕时间，错误信息等。数据清洗数据清洗的I任务重要进行脏数据处理。数据转换数据转换的任务重要进行不一致的数据转换、数据粒度的转换，以及某些业务规则的计算。数据加载数

12、据加载工作实现转换后数据F向入库。在数据加载后，还要更新元数据，以反应刚完毕的数据加载活动。数据的加载活动应使用原则措施和通用工具，例如，在关系数据库管理系统中可以使用SQL或专门用于管理数据仓库的数据库管理系统加载工具。在数据装入数据仓库数据库后，应验证维度和事实数据表之间的引用完整性，保证所有的记录都与其他表中的合适记录有关。数据缓存区规定数据缓存区用来支持数据抽取、清理、转换并加载到数据仓库，应为数据缓存区创立单独的数据库。数据缓存区应包括传入数据的表、协助实现代理键的表以及容纳转换数据的表，以及其他表以协调来自不一样数据源的数据。数据缓存区可做归档，以备后查。ETL周期设置根据粒度设置

13、规定对ETL周期进行设置。ETL管理规定对ETL管理重要包括ETL的调度管理和ETL的监控管理。ETL调度管理规定包括三个方面的统一：统一界面、统一配置、统一调度。在界面方面，应实现统一的图形界面方式，且清晰易懂；在配置方面，应具有如下要素的配置规定：自动调度时间欧I设置、各调度要素之间逻辑关系的设置、指定调度要素的设置（包括指定数据源系统、功能模块、接口表等）、最大任务数的设置；在统一调度方面，应通过统一界面进行统一配置后，可以统一日勺进行调度程序日勺启动和停止。在不一样阶段调用对应的资源进行处理，以支撑ETL的整个过程。ETL的调度支持流水线并行数据处理。ETL的监控管理包括对ETL过程处

14、理状态的监控，出错信息的监控，提供处理开始时间，完毕时间，成功失败标识等，同步进行完整的处理日志记录，并提供通过对口志记录时分析到达对整个处理过程的记录和分析能力。一旦发现错误需要提供邮件等多种方式进行报警。搭建地理信息平台GIS(GeographicInformationSystem)即地理信息系统，它是运用现代计算机图形和数据库技术来处理地理空间及其有关数据日勺计算机系统，是融地理学、测量学、儿何学、计算机科学和应用对象为一体日勺综合性高新技术。其最大的特点就在于：它能把地球表面空间事物的地理位置及其特性有机地结合在一起，并通过计算机屏幕形象、直观地显示出来。基于GIS的设计思想和环境保护

15、事业建设的需要，将电子地图与环境数据相结合以反应污染源地理分布及环境管理要素状况这就形成了具有专业特性的环境地理信息系统。通过环境地理信息系统，可以使管理部门和决策者在不亲临现场的状况下，能直观地认识和掌握当地区的污染特点和多种环境要素，使环境管理者的管理工作更具有时效性和针对性。通过该系统由环境质量分析、污染源分布、都市环境治理设施分布等基本环境地理信息元素构成，同步可以挖掘空间数据库和环境监测数据库中的信息，通过软件分析和记录，展现出某些详细、直观的环境监测专题电子图，如空气质量专题图、污染源分布专题图等，使得各级管理部门可以以最直观的方式获得最新的污染源概况和环境质量等信息，为及早发现和处理突发污染事故赢取宝贵的时间。在环境管理工作中包括了大量的环境质量和污染源数据，这些数据与各项管理工作紧密联络，同步也是环境管理工作各项决策的!直接根据。通过本系统，在数据互换和数据公布的基础上，在各个“信息孤岛”间建立起沟通的桥梁和纽带，充足发挥空间分析直观性的功能，在环境地理信息系统内实现信息集成、加工、分析，为决策提供统一有力的支持。本次建设需要结合GlS日勺特点和环境保护的规定，在GI