人工智能大模型工业应用准确性测评-v3.5.docx

《人工智能大模型工业应用准确性测评-v3.5.docx》由会员分享，可在线阅读，更多相关《人工智能大模型工业应用准确性测评-v3.5.docx（34页珍藏版）》请在优知文库上搜索。

1、cAir三三三三fts三中NG3t人工智能大模型工业应用准确性测评2024年3月版一前言CAll*ES三三Br:ANbTKHNOitYiY为贯彻落实党中央国务院关于促进人工智能发展的决策部署，中国工业互联网研究院依托通用人工智能与工业融合创新中心（简称中心），联合香港科技大学、中国经济信息社，深入研究人工智能大模型在工业领域的应用性能、技术架构、标准体系，并在此基础上，形成本报告。结合工业企业大模型应用情况调研，本报告在原有工业知识问答准确性测评的基础上，新增数据分析、工程建模、文档生成、代码理解等四大场景，构建测试数据集，对国内外具有代表性的大模型进行测试，发布新一轮的准确性测评报告，供业界

2、进行参考。本报告测评结果虽经中心专家委论证，但因大模型迭代速度快，技术复杂，囿于工作团队专业知识和能力，报告难免存在分析结论不足等问题，且测评结果仅适用于测试期间，欢迎大家批评指正。二.测评内容cai1*ct三S三三11色浸产中WMQM2023年初至今，大模型技术发展突飞猛进，已逐步渗透至工业领域诸多环节，涵盖了知识问答.工程建模、数据分析.文档生成,代码理解等场景，正快速成长为工业转型升级和创新发展的重要动力。于传，电子MR电子时 H. Xmtemaii.5wr行业喊O工业语料库/山ia. nMM. m.、炉ft行业工业应用准确性测评U. sa.天信. ataK. WBtMT*. 4电力行业

3、I电/n产.电力供血,热 力生产M庾.石化化工行业期加R.nm). tt.化许防乐Sk印IMML，材行业ItsimRiia tra ma.无M金wtm.Z-数据分析文档生成代码理解知识问答工程建模结合工业知面向工业问面向工业场面向工业应解答计算机识，有理有题，选取基景基础结构用,有逻辑、编程问题,据解答各领础数学知识，化数据，分有条理地生分析工业设域专业性问建立数学模析现象，描成总结性、计、控制代题。型进行求解。述趋势，得分析性的文码安全性、 ，,，-“，一，一出结论。本。计算复杂性。BMUlBX.化学则及g mm. ma Mtiaw依托国家工业互联网大数据中心，聚焦重点工业行业，汇集高质量语

4、料，形成工业语料库，支撑大模型在工业领域应用测评；结合工业企业调研，在原有知识问答基础上，新增四类工业应用测评场景，开展大模型在各应用场景的准确性测评。三、测评方法CAll*中国工互联网畸院chinaAcademyofIndustrialIngmat11j胤；线睽2口胆啊依计XLiZANbTKHNOiOOY进行问答进行判分2调用待测试大模型API,收集大模型答案。利用GPT4,根据评分标准，按步骤赋分。020304筛选题目生成判分标准1根据场景、难度、行业，1选取有标准答案的题目，利用GPT4将原有标准答案整理.为评分标准，并通过人工校验经人工校验后形成测试题。提升判分标准科学性。评分标准1

5、.题目类型：每个场景抽取若干题目进行测试，题型以问答题为主。2 .题目数量： 知识问答：144道数据分析：20道 工程建模：100ifi文本生成：40道 代码理解：150道注：各场景题目数量虽不一致，但考察要点总量保持在同一个数量级。3 .题目得分：需要结合具体题目的评分细则，按照步骤进行赋分，赋分后分数进行归T4S处理。4 .场景得分：场景得分为题目总分百分化处理后的分数。若有细分场景，则场景总分为细分场景的平均成绩。5 .综合评分：由各场景算数平均分计算得出。为更贴合应用场景实际，进一步评价模型的多维能力，本期测评题型以问答题为主；为保障判分的一致性与准确度，问答题的评分方式由人工判分改为

6、大模型判分，并按步骤赋分。11对于GPT4,先获取其回答，再用其生成标准答案、进行判分，避免信息泄露；GPT4的APl承诺不记录数据用于训练，参考业界成熟方案,使用GPT4的API生成标准答案和判分结果，减少测评误差.C An-中国!业S联碰豚院 AJZ J China Academy of industrial mtornet I Il r ., * . r4 ?7 ANbTKHNOiOOY四、测评结果-综合排名 综合能力上，GPT4处于领先地位，国内大模型文心一言.ChatGLM紧随其后； 对于国内大模型，多个模型综合能力超过GPT3.5,包括文心一言.ChatGLM.星火3.5.通义干问等； 对于国外大模型，GPT4领先优势明显，其余模型差距较大。模型版本号参见附录I.e+中国工业互联网研究院ChinaAcademyofIndustrialInternet港MH大JP*,IHtHONGKONGIllttvrvc*KtNLtCLaANbTK40准确性分数据分析能力Top20!国际m内题目样例问题：您需要撰写一份简短的报告，介绍下面的图表/表格/图形的主要特征。您应该执行以下任务：概括数据，描述过程的各个阶段等等，请使用中文进行撰写。下表为2001-2010年几种型号电话年产量。YearPhoneAPhoneB.2001200700.201