人工智能大模型评测平台白皮书.docx

《人工智能大模型评测平台白皮书.docx》由会员分享，可在线阅读，更多相关《人工智能大模型评测平台白皮书.docx（11页珍藏版）》请在优知文库上搜索。

1、,中稽智库金中国移动研究院ChinaMobi1.eCMRI弈衡人工智能大模型评测平台白皮书（2024年）发布单位：中移智库编制单位：中国移动通信研究院第T引言1第一J8人丁鞫能大播出1建3M求?K-BMrVz，、*jIJV2.1 应用需求32.2 评测内容4第三章业界大横型评测平台现状63.1 业界典蛛奴评演坪台63.2 各平的优劣的析8第四章中国移动弈优大模型评测平台104.1 师十威!1和思路104.2 平台整体架构114.3 平田寺色及创新点124.4 平台主要功能134.5 平台主要优势164.6 BEW例与应用实践17第五章未来发展展望19在可靠性方面，大模型的评测若至于SS棒性和一

2、致性两个关键指标.2：棒性指的是模型对于输入娱声和异常情况的抵抗能力，这确保即使在面对不完美或有敌意的?入数据时，模型也能够维持其性能，稳定地输出结果.而一致性则评价模型在不同时间点、处理不同输入时是否献供连贯且一致的响应，这对于建立用户对模型的信任至关重要.如果模型的输出表现不稳定，或者在类似情境下产生大相径庭鹤果，可能会导致用户对模型的不信任，影响其长期的可用性和用户满趣度.因此，一个高度可靠和稳定的大模型,需要在各种条件下都能提供可预期且一致的的瞌现.第三章业界大模型评测平台J针对上述大模三sF3!儒求，诸多科研机!蛹头部公司已经开展了广泛的相关研究与实践.我们调妍了业界典型大模型评测平

3、台，充分掌握平台能力以及它4)三实际应用中的表现，并分析了这些平台的优势和不屈3.1业界典型大模型评测平台OpenCompass湫模型评测平台.OPenComPaSS是由上海AI实验氧育4汨造的F璇全面且?该平台的评浣全开源,使丽郎自由访问和修改评测代码，以满足不同的评测制求，同时保证评测过程的透明倒阿复现性，便于学术界和工界的研究人员进行结果擀证和比较.OPenComPaSS支持包括零择本、小样本和维键在内的多样化评测方式，构建一个多维度的评估体系，全面反映模型在知识、语言、理解、推理等方面的能力.为应对大规模参数量模型的评测挑战,OPenCompass提供分布式评测方案，支持单机或集群上的

4、并行处理，显著提高评测效率.通过巧妙的任务分割与合并策略，实现计箕负载的均衡，充分利用所有可用的计算资源，使得在资源充足时，干4乙参数瑞级模型的全面评测可以在谀短时间内完成.此外，OPenComPaSS不仅支持开源模型的评测，还为开发者提供简洁的模型接口，方便接入AP1.模型，已经支持OPenA1、C1.aude、Pa1.M等众多AP1.模型的评测.OPenComPaSS的设计灵活性允许用户通过预留接口轻松添加新的评测数抵集和模型，自定义数据划分策略,甚至接入新的集胖管理后端，极大地拓展了评测模型的类型和范围.作为一个公开的评测平台，OPenComPaSS向技术社区全面开放，支持的数据集及各数

5、据案的多版本提示词都可以供用户一提下载,陶保了许般果的可总现性.在多模态能力评测方面，OPenCompass三盖从感知到认知能力的多个细粒度评估维度,如目标检测.文字识别、动作识别、图像理解、关系做i等，为多模态大模型提供全面的能力评估.同时，OPenComPaSS提供公开的评测榜单，降低评测门槛，鼓励技术社区提交评测申请，评测结果将实时更新在榜单上，为用户提供直观的摸型性能比较.务，从而推动大模型技术的持鲍J新和应用拓展.4.2 平台整体架构奔衡大模型泮测平台整体架构采用分层与模块化的设计理念，主要由底层能力层、评测管理层、评测执行层、结果分析层和行业应用层五大部分构成，确保了评测过程的高效

6、性、准确性和安全性.平台整体架构如图所示：行业应用层T#农业Kfrat7市於自动化工具：行业全I盖评测分析层评测执行层M1.M层GaMn要W-智能化框柒：灵活可于展底层能力层是整个评测平台的基石，确保了平台的梁梅稳定和高效运行.平台本身具备强大的计算能力不能!定的架构，能够支撑起大规侵数据处电幅杂模型的运算需求.该层融处理和爬虫技术，这些合了容器化编排技术，深度学习和大模型技术，以及自动执行.能力共同构建了一个高效、智能的泮测环境，为大模型的性镭评估提供了坚实的后盾.评测管理层由数据管理周口模型管理层共同组成数据管理层专注于数据的存储*清洗和构建，通过高可靠性数据库系统支持大规模数据集的存储与

7、快速检索，自动去除喙声和异常值，并提供版本控制与访问权限管理，确保数据安全与完整性.模型管理层则支持模型接入、版本控脚0$全性维护，支持多种大模型接入，记录模型变更历史，便于性能匕曲和摸型更用，提升评测效率.评测执行层作为自动化评测流程的关痴,负责任务分发、进度监控率喙果收集.它智能调度评测任务，提供实时进度监控，确保任务J稣J执行,并具备异常检测与处理能力，保您任务连续性和稳定性.此外，执行层t御记录评测过程日志，便于问题诊断和策珞优化，评测分析层则深入分析数抠,提供全面评估.它进行数据预处理，利用A1.技术自动判定和分析评测给果，评估模型的随标,并搦照娣可视化！臭帮肋用户理解飕性能.同时,

8、该层严格遵守数据安全和随私保护标准，确保评测;舌动的安全性和合规性,通过这些层次的协同工作，平台为大模型的评测提供了一个坚实、高姓不晤能的环境.行业应用层作为大模型评测的应用领域，覆盖了工业、农业、医疗、交通、市政等多个关健行业领域该层利用评测平台提供的全面评估能力,针对各行业特点定制评测方案，充分挖的模型优劣势，确保大模型在实际应用中发挥出最大价值,同时，平台不断收笑各行业数据，持续优化评测算法，以满足日益爰杂的行业需求4.3 平台特色及创新点评测平台主要特色1 .对标国际一流的大模型评测体系本平台构建了多维度的24-6评测体系，该体系格评估场景划分为部出任务和应用任务，明确评测指标.评测数

9、据等四项主要评测要素，并制定涵盖准确性、可靠性、安全性等六大维度50余个评测指标.在数据集方面，基于中国移动人工智能领域评测蹦积累.充分融合斯妲福、微软等国内外权威评测题据基准，构建全面客观的通用大模型专程评测数据集，涵盖科学常识、逻辑推理、阅读理解、程序编写等两百多类典型场景，确保充分评估大模型综合能力.对折;业界主流大模型评测体系，在分档一致性和排名一致性评估均处于业界一流水平.2 .基于大模型技术的智能化结果评判基于大模型技术的智能化结果评判是“奔衡”平台的核心优势之一,平台的智能化评判不仅减少了人工干预,i三高了评测的一致性和可复现性.平台利用“大模型评测大模型”评测结果判别准她性.”

10、奔衡平台还采用了多模型融合技术，结合了多个模型的评估结果来提供综合的评判.这种方法利用了不冏模型之间的互补性，提高了评测结果的S：棒性和可信度.m，通醐住断就避的胖照渊用对图就，12三团)化陶弊魁盼疑力，提升3 .基于自m三)三J端自韵化澈呈“奔衡”大模型评测平台通过自组织技术实现了评测流程的全面自动化，从而显著提升了评测工作的效率.在整个评测流程中，平台能够自动部署评测模型，根据评测任务匹酷十对性的评3!gS据集，并独立执行整个评项甥,无需人工干预,任势完成后,系统不仅可以自动统计和;匚总结果，还能进行深入的性能分析，利用智能化评判算法评估模型在各项评测指标上的表现，并生成详细的分析报告.此

11、外，平台还能自动检测和处理评测过程中的异常情况，确保流程的连续性和稳定性.实时进度跟踪功能和详尽的日志记录使得用户能够随时了解评测状态，同时便于问题诊断和策略优化.整体而言,奔衡”平台的自动化全流程设计极大地简化了用户的操作复杂度,让用户可以更专注于模型优你决策分析,而不必关注评测的具体执彳商节.平台创新点1 .用大模型测试大模型变衡平台的一个显著创新之处在于其采用了“大模型测试大模型”的评测方法，即利用经过针对性训练的大模型来测试和评ft其他大模型的性能.通过针对性调优主流开源大校型的怦判能力,提升平台评测结果的准确性，同时集成了自动化评测结果判别能力，减少了人为因素的干扰，大幅提升评测结果

12、判定智能化比例.相较于传统的以J喂型或固定规则为基础的测试方法，寇若经蛉的积累，评测大模型能够不断优化评测策略，适应多样化的大校型，口不断演进的评测需求，为大模型的迭代优化提供了更加深入的谢.2 .自动化智能评测引擎变衡平台的另一个创新点是其实现了一套全自动化智能评测引空.从用户上传模型和数据开始，到最终评测报告的生成.整个过程无需人工干预，平台可以9蚊完成.这一流程包括但不限于任务的自动下发、实时进度监控、结果的自动收集与分析，以及评测报告的智能生成。全自动化的评测流程不仅极大地犍升了评测的效率，减少了人为错误的可检性，而且也使得评测结果更加客观和一致.4.4平台主要功能弈衡大模型评测坪台的

13、功能逻辑图如下所示.“弈衡平台的功能覆盖了从数据和模型管理到评测流程的自动化，再腺果的分析与展示,形成了T完整的评测系统.每个类别内部的功能相互支持，共同构成了一个高效、自动化的A1.大模型评测解决方案.与平台首页下图为奔衡大模型评测平台访问入口.中CB移动rWj大模型评羽平台，.引领通用人工智能评测新高度IKMAMf*BV.MM11TJ.MWU.V1.*i11M.CSMMM.*WM.ItSIAtiMWVMMMRM*1MMB 蹴管理数据常理提供标准化的数据存储、访问和预处理功畿,包括雌清洗、去击、去埃和异常值处理等功能，以帮助用户更好地构建和选择数据集,确保数据集的质贵，从而更好地评测大模型.

14、 模型管理模型管理提供了全面的模型接入支持,能够实现自动化模型配M.它不仅涵盖了对官网发布模型的接入，同时也兼容部著的开源模型,确保了平台的开放性和灵活性,通过一站式的启停管理，用户可以轻松地对模典行启动、暂停或终止操作，从而优化资源利用率并提高工作效率. 评测数据搦1评测数据构建允许用户根据特定评测任务自主设计数据绐Q择评测J图&这一功能通过提供预处理和多样化的指标模板，适应多变的评测需求，确保了评测的针对性和准确性，支持从基础到复杂的多场景应用，增强了评测的灵活性和实用性. 评掰甥下发评测任务下发是A1.大模型评测平台的高效自动化特性之一.用户无需深入了解不同馍型的接口细节，只需在平台上选

15、定评测对象和相应的数据集，即可通过一犍式操作快速下发评测任务.这种设计极大地简化了评测流程，减少了人工设置和干预，显著提升了评测工作的效率和准确性.同时，自动化的下发机制确保了评测任务的一致性和可且现性，为大规模和高版次的模型评测提供了强有力的支持.评测任务圜2评测）任务监控为大模型评测提供了直观的进度跟踪能力.用户可以通过用户界面实时监控评测任务的执行状态，包括当前的进度.已处理的数据量等。这种透明化的监控机制不仅增强了用户对评测流程的掌控感，而且有助于及时发现并解决评测过程中可能出现的问题，从而确保评测任务的!便利进行.评测任务审核评测任若审核功能允许专业人员对自动生成的评测结果进行人工核直,以确保评测结果的准照性.通过自动判卷和人工核亘保障机制，提供更为其实和有效的评测结果.AI审核的介入，尤其是在处理复杂或关犍性的评测任务时，为评测的精确性和权威性提供了额外的保障，增强了评澳赌果的可信度和实用性.专家评分“奔衡”平台封寺专家评分，对于模型主观评价问题,允许领域内的专家对模型的性能进行打分和评价.这一功能结合了人工智能的自动化评测