中国移动 高东辉 -生成式人工智能内容安全与伦理风险检测关键技术研究及示范应用2023：中国移动“弈衡”大模型评测体系正式版.docx

0三魅弈箪打造中国移动"弈衡”大模型评测体系中国移动技术能力评测中心中国移动技术能力评测中心 授牌仪式WChinaMOMe中国移动技术能力评测中心打造国资央企权威第三方评测机构愿景：成为国资央企核心技术能力的度量衡和磨刀石目标：以公司一体五环重点产品和能力评测为中心，打造权威、中立、客观的第三方技术能力评测机构涉及领域广数据积累多工具手段精建设全领域评测能力，全面助力打造优质产品®塞遒中国移动ChinaMoMe助力打造优质产品，绘制并逐步拓展CHBNGV全领域技术能力评测能力行业应用I(BGV)金融位置医疗教育农业智慧城市Uk皮电（ICfI枪涌仪丧W能客度室外定位医疗影像云课程推荐系歧W麻养殖猪Ia整体估种数字孳生识别）数字人客膘平台京内定位角教产品平安校ElW养珀律只园区安昉工Jk质检大.图S（招诒分论）盘点跨境渔踪光伏电瀚三线战BI可视WlC体育风控平台化引簟AIJi论产品W慧考场农机作亚面积城管场景识期工业网关卫星逐形地图识别大数推平台卧议性能名救产品交通*（J5案处置）城市运农管理网关管理冢程驾驶一r»：A4x平台念卷产品盟学奖全网Ial办.一中移凌云平台OneDB敷据性工业房检OneHeaIih曾哈勃一号5G保密专网管（包袋传送检测）W慧港航模医疗云平台理幸台域布Al平台家庭业务（三）家庭连接智能网关高清机顶盒家庭宽带家庭安全智能交互视频通话音频通信健康养老室内摄像头教育加速云魔百盒实时音视频游戏加速语音交互智能音箱智能门锁智能门窗磁个人/新兴业务（CN）云游戏超级SlM云渲染云AR中间号视频直播云VR5G新通话视频点播云手机5G消息数字身份语音类标户荐目用推离线语音在线语音电话声纹信遒识别语音情感觎语音合成远场近场话道电信数据分析类智慧运维智慧营销内容推荐智慧运营务能警业智预用品荐EMXAAtl通产推话绪对情本取文抽感类情分息取信抽能答智应轮话多对感向情倾容核内审名体命实本类文分Al能力脸作人动屣量境踪跨追脸态人姿片类图分源态电状购证体态人姿翁SSS弈图联合中国中文信息学会成立CGR大模型评测工作组为促进大模型技术进步和产业发展，推进大模型评测工作，中国中文信息学会正式成立CCIR大模型评测工作组，并由专委会副主任郭嘉丰向中国移动技术能力评测中心主任刘伟东授牌弈衡YIXhA召开大模型评测技术峰会，推进行业发展组织百度、讯飞,清华、北邮、中国科学院计算所.中国信通院等业界头部企业及机构，S开众智评鉴、测行致远大模型评测及应用研讨会，发布业界首个评测体系白皮书“弈衡”通用大模型评测体系白皮书发布NjmJiJiireMNJ翁器黑弈图承接各级大模型评测任务，促进国产大模型成熟应用国家级省部级集团级根据国资委要求，落实战新大模型评测任务，助力国资央企大模型成熟/构建国内市场通用、公认的人工智能测试评估体系，健全人工智能服务体系与北京市政府合作，评测北京市主流大模型/聚焦教育、医疗、政务、交通等领域的业务场景，对政务行业大模型开展评测支撑集团开展常态化评测工作,对国内外30余款主流大模型开展多轮评测/形成洞察分析报告，助力大模型决策/为国资央企大模型提供评测服务/为北京市发展大模型编写内参弈衡YIXhA弈衡大模型评测体系“2-4-6评测场景评测维度基础任务®回文本分类目标检测三评测要素功能性准确性安全性应用任务盒0智能客服代码生成评测方式评测指标应用性O评测数据关评测工具可靠性交互性基于弈衡大模型评测体系，完成30+款主流模型评测国外市场ChatGPT3.5OpenAI1750亿IGPT-4OpenAI约1万亿ClaudeAnthropic62亿qLBard谷歌5400亿Vicuna-13BUC伯克利130亿.Llama2Mate700亿国内市场LA文心一言百度1750亿通义干间阿里未公开星火认知科大500亿百川百川智能530亿混元腾讯100OfZ悟道3.01智源一尬包乙IChatGLIVR130B智谱Al九天中国移动研究院_fC/FIJLjUU匕30亿360智脑奇虎科技SenseCha工天工昆仑万维ABABMiniMax云雀抖音Moss复旦大学ChatGLM2-6B'WAi-I6-f3紫东太初中科院自动化-»T1ioeo-e-约千亿i8-约千亿约千亿未公开160亿科技大厂科研机构开源模型一二二弈衡CNnaMobileM?1展望未来:持续完善评测体系，携手推进产业发展多模态评测能力通用行业大模型评测合作平台中国移动希望与中央企业携手，共同构建大模型评测合作生态，推进大模型蓬勃发展