生态环境数据治理和分析服务技术方案.docx

《生态环境数据治理和分析服务技术方案.docx》由会员分享，可在线阅读，更多相关《生态环境数据治理和分析服务技术方案.docx（11页珍藏版）》请在优知文库上搜索。

1、生态环境数据治理和分析服务技术方案(一)数据治理服务1、规范数据工作A(I)持续对新接入/共享的数据、接口进行梳理，按照国家回流、内部归集、市州上报、横向共享、跨省共享、外部采集等维度，梳理生态环境厅新接入/共享的所有数据，最终形成体系完整、架构清晰的数据、接口清单，并持续维护。数据清单可以表格、导图等形式体现。 (2)持续对接入数据源头进行梳理，对数据来源的类型、更新频率、地址、端口、用户、密码等进行梳理，形成文档并持续进行更新。 (3)持续对数据共享对象进行梳理，对目标的类型、共享频率、共享方式等进行梳理，形成文档并持续进行更新。A(4)持续对数据加工任务进行梳理，梳理数据流向，对数据来源

2、、各个层级中间表、结果表进行映射，并形成文档。A(5)对新增数据调度任务进行梳理，基于中台工具，梳理调度任务的数据源、调度频率、调度依赖关系、产出物等，形成文档，提高数据调度效率和准确性。 (6)对数据指标与统计口径进行梳理，梳理各类共享、加工任务，梳理各类指标对应的统计口径，包括清洗治理过程、数据血缘关系等，形成文档等可见成果。A(7)规范数据治理流程并形成文档，同时围绕环境业务数据，提供5类及以上环境质量及污染源数据质量规则。 (8)提供详细的数据治理工作方案，对四川省生态环境厅数据治理要求、治理内容、现有问题以及下一步工作进行详细描述。2、强化数据支撑A(I)数据采集1)采集范围根据实际

3、工作要求，对接各类外部数据并进行接入，包括但不限于国家、市州、外部厅局等数据，并持续更新维护外部数据的相关信息，保障外部数据接入持续、稳定开展。2）采集方式充分利用数据中台现有的结构化数据、非结构化数据以及时序数据的采集功能，开展数据采集工作。对采集策略进行配置管理，包括采集策略的添加、修改、删除和查询操作，生成采集任务，并由任务调度管理模块进行集中调度控制。3）数据清洗在数据采集时进行基本的数据清洗，根据数据实际情况自定义规则，发现与解决在数据抽取过程中可能产生的异常错误信息。 （2）数据加工1）工作范围完成各类专题数据的优化与加工，包括大气、水、排污许可证、环评、监测等数据的优化与加工。完

4、成日常业务处室数据需求，提供实时数据、离线数据加工能力，提供结构化、非结构化数据的加工能力，形成各类数据成果并及时反馈。完成各类临时需求任务，包括部级上报数据、横向厅局共享数据、市（州）回流数据、各类外部数据的加工等。2）加工方式基于数据中台整体数据架构（ODS、DWD.TDS等），将处理后的数据进行关联，形成中间表、结果表并分层进行存储；梳理数据链路，明确数据流向。3）数据标签根据生态环境业务处理规则，新增各类标签，并在对应的数据层进行存储。支持标签分类管理，基于标签的类目管理功能，进行长期的维护与更新。 （3）数据共享 ）共享数据层建设根据共享的APl接口数据需求，建立统一的数据出口存储数

5、据库，监测每日共享数据的准确性、完整性、服务正常运行，处理异常情况问题。2)共享服务根据共享需求，设计对应的API,对外开放数据APl共享服务，创建共享APl服务，提供共享APl使用说明文档，并共享至对应的部门，包括部级下发、生态环境厅内部共享、横向厅局共享，市(州)共享以及其他等。3、日常技术运维A(I)日常巡检定时对各项数据任务关键参数、运行状态进行检查，并与准确值进行对比，比较发现问题并及时处理。对数据中台采集任务所依赖的数据源进行连通性检查，数据源连通问题通常为网络不通、数据库迁移、数据源信息更新等，需要定时查看，确保其数据连通状态正常。对数据中台各项数据调度任务进行检查，对数据源、数

6、据文件应到未到，应调未调，运行超时，调度异常等各类情况进行检查并及时进行处理。对非结构化数据归集任务进行定期检查，包括同步任务运行状态、存储空间、运行效率等进行定期检查，并对发现的问题进行及时的处理。对各类数据共享服务及任务进行检查，包括各类共享接口、中间库、访问链路等情况进行定期巡检，并对发现的问题进行及时处理。 (2)异常处理及时对日常数据加工、数据采集、数据共享等任务出现的各类异常问题进行响应，查找异常原因并进行处理。整理常见问题Q&A,将异常问题、解决方法整理为对应的文档，持续更新,支撑运维工作更高效开展。 (3)性能优化根据具体业务需求，数据量大小、数据源更新频率、数据库实际情况等数

7、据特征，对数据存储、数据库、数据表、数据加工任务、数据共享与接入接口进行性能优化。 (4)数据库、服务器维护对共享服务器以及共享数据库、OSS数据存储服务进行日常维护，包括存储容量、计算资源使用率、吞吐量等日常运维，对超过阈值的任务进行及时预警。 (5)数据专题维护需要对生态环境厅现有的排污许可专题、环评专题、非结构化数据专题、时序数据库、政务数据归集进行持续性维护，保证专题的正常运行，在不增加功能点的前提下提供数据的持续更新。 4、技术支持技术支持主要通过线上与线下结合的方式，为数据相关方提供技术指导与技术支持，解决相关的疑难杂症，解答各类业务问题以及数据问题，搜集相关方需求等。支撑范围如下

8、：支撑国家回流、内部归集、市州上报、横向共享、跨省共享、外部采集各类场景下的日常需求沟通与技术支持。支撑业务处室各类数据类需题，解答相关问题。支撑日常临时需求，包括提数，导数。支撑项目相关的其他技术类需求。(二)数据分析服务1、固定污染源全生命周期数据分析专题目前，生态环境厅已对污染源企业用电量数据、自动监控数据等进行了整合,实现了数据的接入展示等监管功能，但未进行针对性的数据治理工作，导致数据质量不高、展示效果不佳等问题，需要进一步对固定源数据及全生命周期监管信息进行治理分析，具体内容如下： (1)涉源数据治理基于已有固定源数据并横向拓展其他涉污染源数据，进行二次梳理和加工，形成以源为核心的

9、数据专题库，实现对污染源基本信息、排污许可、环评、监测、信访投诉、证后监管、信用及其它相关数据的治理。固化固定源数据治理过程,包括固定源主数据结构定义、固定源主数据整合治理规则，并保证数据动态更新。包括但不限于以下数据:1）污染源基本信息：企业名称，统一社会信用代码、组织机构代码、行政区划、经营场所、经营范围、法人等信息；2）排污许可：大气污染物排放信息、水污染物排放信息、固体废物管理信息、噪声排放信息等；3 ）环评：项目名称、项目地址、项目规模、建设内容、相关的环评机构等信息；4 ）监测：自动监测、自行监测、第三方监测等；5 ）信访投诉：信访投诉以及相关的处罚信息等；6）证后监管：执行报告、

10、双随机一共开数据等；7）信用：环境信用评价、信用中国数据等；8）其他：重点排污单位标记、诉讼风险等。 （2）基于标签的档案分类查询可基于固定源的标签库的建设，选择不同标签查询固定源档案信息。1）标签库建设：基于固定源数据基础，构建固定源基础特征标签库、排放特征标签库、监管特征标签库，通过标签，一方面让数据变得可阅读、易理解，方便业务使用；另一方面，通过标签类目体系将标签组织排布，以一种适用性更好的组织方式来匹配未来变化的业务场景需求。2）标签查询：提供按照基础特征、排放特征、监管特征标签对固定源档案进行查询功能，可实现单个标签快捷查询和多个标签筛选查询功能。 （3）全生命周期轴构建提供企业模糊

11、查询以及精准查询，通过输入企业关键字、统一社会信用代码、准确企业名称来对企业进行查询。以时间为维度，覆盖所有涉源数据，构建企业全生命周期时间轴。基于权限及用户管控，提供下载与导出功能。 （4）报表服务1）统计分析利用报表灵活、高效、输出形式丰富等特点，解决对污染源数据多维度分析的需求，统计分析的结果以报表或图形化的方式展示，并支持导出、打印等功能。实现按行业、流域、区域、年限统计污染源数量、许可排放量、实际排放量等分析，同时实现业主单位提出的其他统计分析要求，以及临时统计分析工作。2)空间分析实现点位空间维度上的信息展示，展示形式可包括聚合、热力、点位分布三种，可按照区域、行业、流域、污染类型

12、等维度对点位进行分类，其中点位分布展示需要包括点位详情和明细页面的查询功能。3)周边专题查询接入国、省控空气站点数据和实时监测数据，融合专题库数据与监测处调查数据，可围绕国省控站点三公里范围显示相关污染源数据。 (5)数据使用整理归集的数据除在专题使用和展示外，需要制作标准接口，提供对外共享服务。2、数据综合服务专题数据综合服务专题，包括数据现状、数据专题、数据预览、数据目录等，面向业务提供多维度数据服务，一方面解决业务部门找数难、用数难的问题，二是将数据工作具象化，推动生态环境工作数字化转型。A(I)数据总览依托数据中台数据提供可视化数据总览，动态展示总数据量、本月新增数据量、总治理量和本月

13、治理量，展示数据来源、支撑系统、资源目录总量、数据共享总量和数据专题。 (2)数据目录树梳理面向业务梳理数据清单目录树形结构，按照环境要素、组织机构、环境业务等纬度形成数据资源目录。提供数据目录树中各个数据项、子分类、大类的增、删、改等日常维护功能；支撑数据项和子目录归属的分配。 (3)数据概览与详情针对各业务与数据维度中的单个数据项，构建数据概览页面以及数据详情页面。数据概览页面展示数据来源、更新时间、所属分类以及标签、数据条数等基本信息。数据详情页面展示具体数据内容。数据概览以及数据详情页面需与数据目录分类展示进行关联。 (4)数据检索提供按各种分类以及关键字进行模糊查询、精准查询。提供标

14、签以及数据分类检索，点击对应的数据分类即可展示该大类下的所有数据项目。A(5)数据专题集成将已经建成的数据专题集成至综合服务专题中，包括排污许可专题、环评专题、固定污染源全生命周期、非结构化数据等专题页面。 (6)权限管控支持数据对目录子类、大类进行权限管控，根据不同角色定制不同权限，构建数据权限管控体系。权限管控体系需与生态环境厅4进行对接。A(7)数据审批实现数据资源统一申请、审批管理，通过录入申请部门、申请人、联系电话、申请时间、使用场景、使用时间等信息。根据数据归属权限，交由数据所属业务部门进行审核。3、专题开发技术要求(1)性能要求指标项指标值一般查询统计类服务响应时间响应时间不超过

15、3秒复杂查询统计类服务响应时间不超过6秒不间断性7X24小时不间断系统内在线事务处理的响应时间不超过3秒跨系统在线事务处理的响应时间不超过5秒界面操作响应不超过3秒最大并发数100（2）部署环境依托省级政务云进行部署，所需网络资源、计算资源、存储资源等由政务云进行提供，包括项目运行所需要的网络设备、服务器、操作系统与存储设备等基础设施。（3）信息技术创新环境需要满足信息技术创新总体要求，兼容跨平台部署和使用，并支持四川省政务云体系和信息技术创新环境。包括服务器、桌面终端、操作系统、数据库、浏览器、应用插件、办公软件和版式套件等，且在信息技术创新环境下能稳定流畅运行，功能正常使用，查询统计、数据获取、文件调看等反馈时间满足性能要求。（4）保障性要求1）应提供一致、美观、简洁的图形用户界面风格，并符合用户操作习惯。2）对普通用户的操作界面应该以B/S方式实现。3）应支持同时打开多个功能窗口以对不同任务进行并行的操作。4）应支持在一个业务过程中的所有功能界面都有返回上一操作的功能。5）应支持通过键盘即可完成一个界面窗口内的主要操作。6）应支持采用分页机制显示列表数据，并显示记录数目、当前页和总页数。对于复杂的信