XX大学数据中心平台项目建设需求说明.docx

《XX大学数据中心平台项目建设需求说明.docx》由会员分享，可在线阅读，更多相关《XX大学数据中心平台项目建设需求说明.docx（47页珍藏版）》请在优知文库上搜索。

1、XX大学数据中心平台项目建设需求说明一、项目背景1.现状XX大学数据中心平台是为学校内部提供数据共享、数据服务应用及数据管理的信息化基础设施。数据中心建设经历“以技术为导向”到“以应用为导向”，再到“以服务为导向”的发展历程，目前完成了2期的项R建设，已建设内容如下：（1）数据中心（一期）根据“以技术为导向”的指导原则，数据中心（一期）主要困绕“数据共享”和“数据治理两个方面进行基础技术平台的建设。建设内容包括建立数据仓库、数据共享交换平台、支持数据治理活动的元数据管理系统和数据标准管理系统;同时，基于平台进行业务系统的数据集成和数据标准的制定工作。（2）数据中心（二期）根据“以应用为导向”的

2、指导原则,数据中心（二期）主要围绕“数据股务应用”进行项目建设，同时通过“完善基础技术平台功能”和“深化数据治理活动”两个方面的项目建设，提高数据共享能力和数据质址，推动数据服务应用的建设目标的实现。建设内容包括：建立数据服务应用（离基表应用、领导驾驶舱、个人数据门户、业务报表管理系统、学生宿舍智慧管理）：完善基础技术平台功能（数据共享门户和数据服务生态平台），建设自助式、丰富接口方式的、数据资源丰富可视化的数据共享以及增加数据质量、数据安全、数据模型，数据资产等数据治理领域的辅助技术工具:建立数据治理制度体系（制定了数据标准管理、数据质量管理、元数据管理、数据集成管理等制度。经过两期的建设和

3、数据治理，采集了30余个核心业务系统的数据，建立了8大类262个数据标准和19192个标准代码,建立共享数据资源177个，规范共享数据接口421个，已为75个下游业务系统提供数据服务。数据共享平台每天的数据交换员在300万次以上，在定程度上打破了数据孤岛、应用孤岛、业务孤岛，已建成“1+7”的数据服务生态:一个数据中台和七大数据应用，数据作为生产要素的地位得到提升。但随着学校高质量发展以及信息化建设的不断深入,对数据服务提出了更高的要求，现有基于ET1.的定时数据采集与交换服分已无法满足“互联网+校务”服务需求，尤其是数据中心缺乏对实时数据计算能力和非结构化数据处理能力，无法满足业务系统对实时

4、计.算、非结构化数据利用及融合数据价值挖掘与数据服务等日益增加的需求。2 .存在问JB经过前面两期的建设，学校数据质量大幅提升，数据资产作为学校的战略性资产地位不断得到强化，数据中心建设是项基础工作繁、技术要求高、建设周期长和影响面广的系统化,持续性的基础工程，目前数据中心仍存在以下问题：（1）缺少对发柴业务数据实时共享及实时数据分析支持能力。目前学校数据中心已建成基于ET1.等技术的定时采集、汇聚和交互平台，基本满足了非实时性的数据服务场景，比如报表服务、业务系统数据交互服务、领导驾驶他等：但尚不能满足基于实时性的数据服务场景，比如一网通办、自助打印、迎新离校等场紧，以及财务、校园卡等涉及金

5、融业务的应用场景.比如目前在毕业季办理学生批量离校业务时，其中“欠用清缴”、“图书归还”等业务中的数据同步需要30分钟以上，极大影响了办事效率和用户体验。（2）缺少对半结构化及非结构化数据的统一存储计算分析能力。近年来学校分批次建设了200余间智念教室、并启动了新一代校园安防体系建设。现有数据中心无法满足对来白于这些系统或场景的学习日志、教学视频录播、视频监控等半结构化、非结构化数据的存储、分析、利用。XX大学关于进一步提升拔尖创新人才培养版量的实施意见中明确要求实现基于“多模态数据驱动，实施发展性学生学业评价.从多个维度开展基于多模态的学生学业评价改革J采集在线学习、课堂交瓦、教学录播、图书

6、借阅、校园等多场景行为数据，纵向采集学生从入学到毕业全过程学业数据，为学生学习质量监测提供可视化表征。因此，需要建设湖仓管理底座，实现对日志数据源、电子文件数据源、AP1.数据源、声像文件数据源等多种数据源类型的实时数据采集。（3）数据应用场景数砥较少，提供师生数据服务能力有待提高,经过前面两期的持续数据治理，学校的数据质量大幅提升，学校数据资产基础形成，推出了广受教职工欢迎的智能表格填报等数据服务，极大减轻了教师的指尖负担。但目前数据应用场景还太少，数据效能发挥不足，如何基于已有数据治理成果，以服务化视角IR新组织数据信息，实现数据变现及数据业务化，强化面向师生个人的数据眼务能力，提升师生.

7、获得感，是学校数据中心建设嗔需解决的问题。二、项目概况1.建设目标项目建设将推动由数据故略驶动的业务及管理变革，挖掘数据服务应用场景,提升教育决策科学化、管理精准化和服务个性化水平，推进教育治理方式改革和学校的高质量发展，具体实现绩效目标如R1 .增加实时数据共享和分析功能，提升计兑时间颗粒度从分钟级到充秒级，满足智慈校园迎新、离校、自助打印股务等互联网校务体系实时数据服务场景，提高数据计算吞吐量.增强数据计算稳定性，完善数据共享功能.提升对数据共享服务场景的支持水平.2 .增加非结构化及结构化数据的统一存储、加工、处理，及价值挖掘能力，构建湖仓一体化数据架构，提升对全域数据的管理水平.3 .

8、增加“学生综合预警系统”、“学生精准资助系统”、“学生学业画像”、“部门全息画像”、“自助取数服务系统”5个数字校园数据服务场景,进步为科学决策、精准管理、个性化服务提供支持。2.总体设计t=(E()=CZO长下文科文怦听应用架构图个A1.eIuT*I*III8II-T1IINByTFjI；KjI*JKIIarcrfg本项H应用架构图如上所示，建设内容按照“项目建设内容表”的序号在架构图中进行对应标识。图中数字文字标识的湖仓管理底座、实时计算平台、数据协同管理平台、学生综合预警系统、学生精准资助系统,学生学业画像、部门全息画像、自助取数服务系统是本期项H的软件建设内容。3 .基本要求（一）信息

9、标准要求（1）本项目系统建设应遵循6XX大学信息标准与规范-数据标准、XX大学信息标准与规范-信息系统建设规范和XX大学信息标准与规范-数据集成管理规范进行开发，若系统与学校信息标准与规范不一致，供应商应提出解决方案并实施完成。（2）供应商须提供项目建设系统的数据字典文档，并把数据字典内容部署到数据库的注释字段。（二）数据安全要求（1）根据国家对教育行业信息安全等级保护工作的要求.供应商需要使本系统符合信息安全等级保护相应等级要求相关技术标准。采购人可选择符合信息安全等级保护管理办法规定条件的测评机构，依据信息系统安全等级保护测评要求等技术标准，对本系统开展等级测评，供应商需根据测评机构的整改

10、意见（报告）免费对本系统做好整改修麓并使之通过测评.提供承诺函，格式自拟。（2）在本项目实施和售后服务期间，本项目合同标的物（定作物）之应用系统（含应用系统部署所需的操作系统，中间件，数据库）如果自身存在安全性问题，并被采购人或者政府主管部门（包括但不限干公安部门、网信部门、教育主管部门）扫描出存在的漏洞，供应商应积极配合安全漏洞修夏并在采购人指定的时间内完成。（三）技术路线要求（1）项口技术路线符合信创技术路线要求，项目的收须获得信创适配符合性报告。提供承诺函，格式自拟。三、建设内容1.湖仓管理底座面向智越校园（如智慈教室录播、校园安防等）半结构化、非结构化及结构化的多模态数据的存储与集成，

11、实现多类型数据容器融合，包括PostgreSQ1.,MYSQ1.、人大金仓、达梦、Minioxc1.ickhouse等，实现支撑校级全员全域全场景数据服务业务建设目标，并支持信创技术路线。序模块具体技术（参数）要求1总体Z求为确保湖仓管理底座能基于学校现仃校本数据中心规范体系切实落地，并与学校数据管理整体战略保持高度一致，本次湖仓管理底座建设须充分考虑学校现有数据的类型分布，并针对性提供采集、存储、分析与管理能力及策略，投标人需承担湖仓管理底座建设过程中可能产生的所有费用，包括但不限于底层数据库优化费用、数据迁移费用等,这些费用应被合理计入投标成本1.不得再向学校或第一：方机构收取费用.投标人

12、须提供对应承诺函，并加盖投标人公章】（性能安全评分项）性能满足：单节点最高离线抽取速率45Mbs,最大平均速率218万条/秒：单点可处理峰值数据亿条/h,处理峰值数据量235/h：单节点并发任务最大数据量280G,提供单节点任务最大并发270条/S：单节点提供创建共享AP1.服务个数2450个。安全满足：软件架构有保障系统运行的安全策略和机制，至少包括标识和鉴别、访问控制、安全审计、数据完整性、数据保密性、会话管理等相关安全功能和机制.2数据底座平台规划和；：署投标人需根据本项H实际情况，按照“湖仓一体”的建设口标完成数据底座平台的设计、规划、部署。需根据待处理数据的体技规模、增长趋势、形态格

13、式等因素，充分考一体化管理、容量扩展、处理性能、异构兼容性等方面的要求，选用成熟稳定、架构先进、性能优异的数据库、文件系统等产品构建数据底座平台，并对数据底座平台的运行架构和配置参数进行合理规划设计，保障数据底座能够完全满足我校数据资源管理的长期要求。投标方案中详细说明数据底座的具体产品选型、功能作用、技术特点、存储对象、适用场景，并说明数据底座与数据资源之间的对应关系，数据资源在数据底座内流转方式设计。中标人需完成数据底座的实际部署、配置，并进行必要的性能调优，基于该底座架构完成本项F1.交付，保障各项功能和性能要求的达成。3分布式教据库构建构建高性能O1.AP的分布式数据库，支撑湖仓一体的

14、物理架构，支持以下特性：1、支持列式存储。2、支持数据压缩。3、支持向量引擎操作.4、支持O1.AP场景卜的数据实时处理。5、支持数据高吞吐的方式批量并发写入。6、支持多核和多服务器分布式部署和处理的方式，提高隹询的速度。7,支持包括MergeTree.RGP1.iCaSdMergeTree、1.og、Memory、Distributed、Kafka、BUffer、Materia1.izedVieUR1.、HDFS、S3等在内的多种表引擎，基于不同场景选择合适的表引擎存储和使用数据。8、大数据集群支持Mu1.ti-Master的多主架构，集群中每个节点角色对等，客户端访问任节点均能获取相同数据

15、，避免单点故障。9、大数据集群支持数据分片语分布式查询，分片数量取决于节点数用，支撑TB级以上数据查询的高性能响应.10、支持关系型数据、JSON、XM1.等数据的存储,支持NoSQ1.数据库的外部数据注册，基于sq1.实现NoSQ1.+SQ1.的实时关联查询。11、支持AC1.的方式对于数据表的访问及操作权限进行控制，字段细化到行级和列级，以保护敏感数据不被未授权访问。12,支持海量数据行询和计算的秒级返回，实际操作500G单张大宽表的数据聚合，返回时间在3秒以内。13、（演示评分项）支持数据实时关联计算能力，基门可一个数据开发界面进行数据实时关联任务配置，可通过标准sq1.方式对多张数据表进行实时动态捕获，至少包括支持根据数据关联逻辑完成数据实时推送，支持按过戏条件取最新的数据，支持增量无侵入，可在数据实时关联过程中引用数据清洗转换组件，清洗转换组件至少包括加密、替换、切割。4分布式文件系统构建构建可扩展、高性能的分布式文件系统,对数据湖、数据仓库中的非结构化文件进行统一存储和对象化管理，提供高性能检索、文件共享、访问控制、高可靠运行等能力,支持以卜特性：1、支持分布式架构：支持水平横向扩展，通过增加节点来提而存储容量和性能，满足大规模数据存储需求。2、支持对象存储，所有数据包括文件本身、文件名、文件的描