XX市行政执法多维模型智能分析应用项目采购需求.docx

XX市行政执法多维模型智能分析应用项目采购需求一、项目背景结合关于印发“XX城市大脑2.O三大提升工程实施方案”的通知X城脑指2024）1号文要求：围绕体征监测、事件处置、指挥调度、分析研判、综合评价、数字赋能等六大中心建设，有序推进政务服务“一网通办”、城市运行“一网统管”、社会治理“一网共治”“三个一网”核心场景综合集成，打造“城市治理操作系统”，促进“三个一网”融合发展，为形成超大城市数字治理系统解决方案，打造数字化平台载体。在当前国家大力推进数字中国建设的背景下，XX市积极响应数字中国建设整体布局规划的号召，依托XX数字挛生城市建设三年行动计划，启动多项关键软件项目建设，旨在全面提升城市治理的智能化水平，推动数字经济与实体经济的深度融合。项目聚焦于解决当前城市治理中的痛点与难点，特别是针对涉企、扰企等问题，通过构建智能化执法检查管理系统，优化营商环境，减少对企业正常运营的干扰。同时，项目还注重分析执法趋势，支撑政府决策，紧盯群众诉求，分析治理重点，确保城市治理工作能够精准施策、靶向治理。二、建设内容（一）行政执法领域垂直模型训练1.数据归集、清洗依据业务需求，会对执法监管、执法监管非结构化文书、执法协同、政务服务、投诉举报、行政复议、行政诉讼、监管对象、执法主体、执法规则、法治知识等数据进行采集和清洗，从不同数据源采集的数据整合到统一数仓，在整合过程中会剔除重复数据，修正错误数据，对数据的类型、单位、根据开发规范转换、空值处理，提高数据质量，保证模型训练高效使用。（1）执法监管数据：包括风险线索、行政检查、行政处罚、行政强制等案件数据。（2）执法监管非结构化文书数据：包括行政检查、行政处罚、行政强制等文书数据。（3）执法协同数据：包括线索流转、案件移送、两法衔接、执法公示等。（4）政务服务数据：包括告知承诺、行政许可、服务办件等。（5）投诉举报数据：包括投诉信息、办理信息、回访数据、复查复核信息、满意度评价等。（6）行政复议、行政诉讼数据：包括复议案件、复议对象、诉讼案件、诉讼结果等。（7）监管对象数据：包括个体工商、企业、其他组织、特种设备、场地场所等。（8）执法主体数据：包括执法人员、执法部门等。（9）执法规则数据：包括许可事项、检查事项、处罚事项、强制事项等。（10）法治知识数据：包括法律法规、执法依据、执法事项、两法衔接指引等。2 .指标、标签开发标注依据采集和清洗的数据，根据业务需求和数据探索分析，制定出相关数据的业务维度字段,进行维度建模,开发成各种业务类型、可多维度分析的模型宽表。数据标注涉及从模型宽表数据中提取信息，并为每个数据点添加合适的标签或注释。包括执法监管数据、执法监管非结构化文书数据、执法协同数据、政务服务数据、投诉举报数据、行政复议、行政诉讼数据、监管对象数据、执法主体数据、执法规则数据、法治知识数据。3 .训练数据加工训练数据加工会对采集来的数据进行清洗，去除噪声和异常值，检测和处理缺失值、异常值、重复值等，确保数据的一致性和完整性。（1）提问模板汇编：设定好提问模版，根据不同的查询语句使用自动化工具生成同语义的自然语言问句。2 2）QA对汇编：将字段含义文本与生成的问句拼接，作为数据中的Q,对应的查询语句作为A,整合成ison格式。4 .异常监测（1）预警监测：预警监测任务设置，支持对异常趋势指标或异常指标设置监测任务，选择发送对象或其他规则。（2）预警提醒：创建指标预警触发规则，以特定的形式主动推送指标，触达业务相关人员，即时反馈业务问题。5 .行政执法垂直领域模型训练实现行政执法领域大模型的加载、微调、强化及应用，在原有的基座大模型的基础上丰富其功能，限制其场景，规范其输出。（1）模型初始化从国内目前已有的开源大模型中，从安全性、可用性、可靠性等维度进行模型选型，实现基座大模型的加载与直接推理，验证基座大模型与微调框架的兼容性。（2）模型部分参数微调算法处理开发调整面向开源大模型的微调算法框架，实现LORA、QLoRA,DORA等部分参数微调能力，增加SinlP0、KTO等前沿调优算法的实现，增加UnShth等长文本输入优化策略，增加FSDP等高效GPU利用方案，增加SWift等模型推理加速应用。（3）执法问答场景算法强化针对执法问答辅助场景的微调，调整损失函数和训练目标，使模型能理解行政法规、监管事项、处罚案件、文书等内容，从而服务于执法活动。同时训练多个相关任务（如问答、摘要、分类等），利用任务之间的关联性提升模型的综合能力。使用多种评估指标（如准确率、Fl-score.BLEU、RoUGE等）全面评估模型性能。（4）安全性算法处理安全性检查包括敏感信息获取和安全攻击预警。针对敏感信息获取任务，指定敏感信息类型，设定提示词指引模型对敏感信息内容进行识别并做脱敏处理,若提示词无法生效则通过相应的敏感信息类型整理训练数据进行参数调整；针对安全性攻击,主要形式为SQL注入和脚本注入,主要通过页面访问参数进行规避。(5)兜底纠错算法处理预设兜底回复，设定提示词对模型回复进行约束，当提问无法获知明确答案时启用兜底回复，当查询结果为空时引导用户更改提问方式。当提问中包含特定名称时通过任务链查找外挂词库进行纠错。6 6)PPO/DPO训练PPO指通过与环境交互并基于奖励信号优化策略模型，可以有效提升模型在对话任务中的表现。DPo指通过直接优化生成文本的偏好得分，使模型生成的回答更符合预期偏好，提高对话的质量。在微调过程中增加奖励机制和惩罚机制对模型回复进行对应的强化学习，修正模型在多轮对话过程中的话题保持和话题跳出决策，优化对话体验。6 .知识库向量化在知识问答环节不能将全量知识作为训练数据进行学习，大多数问答仍需通过外挂知识库进行知识补充，当外挂知识库准备好后使用大模型进行向量化并保存成索引，在使用时通过计算向量相似度进行召回，再将召回结果提供给大模型进行回复。当新知识增加到知识库后仅需更新向量索引即可完成快速导入。7 .模型测评完成模型微调后需要根据既定指标对模型效果进行评估，确保模型能够满足任务需求。测试集构建由于大模型从根本上是一个生成式模型，其生成的回复具有多样性和一定程度上的不可控性，无法使用传统的结构化方式对其效果进行评估，因此测试集构建的方式为提问+关键信息+多答案的形式。评估方法构建由于大模型回复的多样性使得评估时难以达成精确匹配，所以模型效果评估主要使用ROUGE方法计算大模型回复与测试集任一答案的n-gram,最长公共子序列和跳跃双字的重叠程度来评估生成文本的质量，满足阈值则认为回复有效。专项指标评估模型回复除了要评估其准确性以外还需要评估合理性，但自然语言本身的语法并不足以有效地评估文段是否通顺且有效，因此主要通过人工研判大模型回复的流畅性、相关性和完整性指标。对于数据库语言生成效果的，可以从语法层面和语义层面进行评估。语法层面SQL语句合法性评估可以通过目前已有的开放性工具进行判定，语义层面需要使用大模型生成的SQL语句执行查询任务，从查询结果是否满足查询意图来确定是否准确。结果评估采集各项测评指标和对应细节入库，可供后续优化调整使用。数据(输入/输出语料采集)采集除了使用测试集进行评估以外，模型在使用过程中会产生大量的对话数据,这些数据能够体现用户使用趋势、倾向和评价，通过人工和规则打标的方式进行数据整合回流，可以用于提示词优化、任务链修正和模型迭代。8 .优化迭代模型训练不是一劳永逸的，在使用过程中发现明显错误时需要做相应的调整优化，同时在有新知识、新功能加入时也需要做对应的迭代升级。(1)模型优化迭代在使用过程中收集用户反馈，积累数据，当数据积累一定规模或需要加入新功能时就可以对模型做一轮优化迭代。优化的过程和训练步骤类似，但为了保证模型不遗忘已有的知识和能力，仍需要再用训练集进行一次完整训练。(2)模型对比测试对于新模型效果的验证，在使用测试集测试指标的基础上还需要和旧版本模型效果以及其他类似模型效果进行对比，确保模型在所需的各方面均有令人满意的提升。9 .模型部署(1)模型输出大模型使用PythOn语言编写，与实际发布框架无法直接兼容，因此需要使用http接口进行封装。在模型部署完成后需要进行接口调用测试，明确模型调用方法、调用参数、返回值和对话时长。(2)工程部署大模型功能集成在完整的系统中，除了模型本身需要部署外，开发工具、数据库等等还需要专项工程部署。主要包括系统依赖项配置和功能校验等操作，涉及前后端、数据、算法等人员联调。（3）模型更新经过迭代优化和验证后的新模型在重新部署时，还需要对完整链路进行测试,包含模型输出验证和工程验证。10 .多模态输出在完整系统中，用户提问产生后得到的返回结果是一个综合的页面，不仅包含模型本身的回复，可能还会有一些特定的场景，如文本、链接等。（二）执法精灵11 提示词构建（1）提示词模板管理设计一系列覆盖不同场景和语义类型的提示词模板，并对其进行分类管理，便于后续的检索和使用。构建一个结构化的数据库，用于存储所有提示词模板及其相关信息，如模板类型、应用场景、创建日期等。实施严格的权限控制机制，确保只有授权用户才能修改或删除模板；同时，实行版本控制，记录每次修改的历史，以便追踪和恢复。（2）提示模板词优化定期收集和分析大量真实场景下的对话数据，识别高频词汇和短语，以及它们在不同上下文中的使用模式，用于优化现有模板。建立机制收集用户对提示词效果的反馈，包括误触发、不相关或过于频繁的提示，以此作为优化模板的重要依据。利用自然语言处理技术和机器学习算法，自动识别模板中的潜在问题，如歧义性、冗余性等，并提出改进方案。（3）提示词模板测试对每个提示词模板进行独立的功能测试，检查其是否能够正确识别预期的输入并给出恰当的响应。在系统级上测试提示词库的整体表现，评估不同模板之间的兼容性和协同效果。在实际应用环境中，通过A/B测试方法比较不同版本或类型的提示词模板的效果，收集数据以指导进一步的优化。建立持续监控机制，跟踪提示词库的实时性能，及时发现并解决问题，不断迭代优化，以适应语言和场景的变化。12 辅助执法(对话式助手)整合法律法规、监管事项及处罚案件的检索功能，利用先进的自然语言处理技术，用户仅需日常表达即可查询所需信息。(1)法规检索：在执法、法制审查等环节，支持以对话式的方式，进行法规检索，基于法规数据库所有法规，通过理解自然语言，生成法规查询内容及详情列表，支持多轮对话。在生成内容基础上,想进一步查询详情时，点击附带链接,可进入详情页面。(2)监管事项检索：在执法、法制审查、执法监督等场景中，支持以对话式的方式，提供查询、推荐的生成式服务，输入违法事实或者事项检索要求后，模型进行意图理解，根据数据库中的历史类案和监管事项，生成推荐事项及详情链接，支持多轮对话。监管事项(检查、处罚、强制等)，通过对话，想查询详情时，进入详情页三(3)处罚案件检索：在执法、法制审查、案卷评查等场景中，支持通过自然语言输入查询请求如违法内容、违法情形、处罚类型等，模型通过对意图的理解，给出与之相匹配的按类、典型案例以及与查询要求相关的各类案件，为各类用户提供辅助支撑。基于对话内容，使用对象想了解详情的，通过详情链接，可进入详情页面。13 X政钉上架适配X政钉PC端工作台，完成应用上架发布，支持用户通过X政钉端进入应用进行使用。(三)多维分析场景14 监管事项法律法规对行政机关的权力进行限制和监督，相应的行政机关所执行的监管事项都必须有明确的法律法规依据，确保平其行政行为的合法性和规范性。(1)事项应编未编借助执法垂直领域模型，梳理行政执法事项