通用人工智能大模型工业领域知识问答性能评估-中国工业互联网研究院_29页_3mb

通用人工智能大模型工业领域知识问答性能评估总结

核心内容

本报告由中国工业互联网研究院发布，旨在评估人工智能大模型在工业领域的知识问答能力。评测内容涵盖工业领域八大行业，包括电子设备制造、装备制造、钢铁、采矿、电力、石化化工、建材和纺织。通过构建行业知识测试集，对国内外代表性大模型进行综合测评，重点分析其在客观题和主观题中的表现，并提出后续优化建议。

主要观点

评测规则

• 每个行业设置测试题，包含单选题（105题）、判断题（30题）和简答题（3题）。
• 客观题按答对与否评分，主观题按基础能力、语句能力、概括能力和逻辑能力四个维度评分，每个维度最高5分。
• 测试总题量约为1100道，评分结果归一化处理为100分制。

测评结果

模型维度表现

• GPT4 在工业知识问答测试中表现最佳。
• 国内头部大模型整体与 GPT3.5 相当，部分行业已实现赶超。
• 国内大模型在概括能力和逻辑能力方面与 GPT4 存在差距，需进一步专业化微调。

行业维度表现

• 大模型在不同行业的知识问答能力差异明显，电子和装备制造行业表现较好，纺织和采矿行业相对较弱。
• 建材行业语句能力偏低，需扩展相关领域的数据训练集。

自我认知能力

• GPT4 能主动识别无法回答的问题，而国内大模型在该方面表现较弱。
• 建议国内模型加强训练数据的扩充和设计策略的优化，以提升自我认知能力。

污染问题分析能力

• GPT4 在辨别不合理输入内容方面表现优异，而国内大模型普遍性能较弱。
• 建议加强模型对输入内容合理性的判断能力，以避免误导用户。

关键信息

评测方法

• 客观题：单选题和判断题，答对得分，答错不得分。
• 主观题：简答题，从基础能力、语句能力、概括能力和逻辑能力四个维度进行评分。
• 评分标准：参考高考作文评分标准，由专家评审委员会集中评审。

评测模型

专家团队

• 唐立新（中国工程院院士）
• 王国栋（中国工程院院士）
• 刘云浩（ACM Fellow，IEEE Fellow，清华大学教授）
• 焦礼成（欧洲科学院、俄罗斯自然科学院外籍院士）
• 张大庆（欧洲科学院院士）
• 刘江川（加拿大工程院院士）
• 刘劼（IEEE Fellow，哈尔滨工业大学教授）
• 张燕咏（IEEE Fellow，中科大教授）
• 杨铮（IEEE Fellow，清华大学副教授）
• 刘云新（清华大学教授）
• 张晓明（北京雁栖湖应用数学研究院研究员）

总结与下一步计划

客观题分析

• 国内外大模型平均准确率不高，提升空间巨大。
• 行业间泛化能力差异显著，部分行业如纺织、采矿表现较弱。
• 需加强针对性训练和微调，以提升模型在特定工业领域的知识掌握能力。

主观题分析

• 部分模型的基础能力与 GPT4 接近，但概括和逻辑能力仍需提升。
• 语句通顺性表现良好，但个别模型在回答结构和逻辑性方面存在不足。

综合结论

• 当前通用大模型在工业知识问答领域仍处于初级阶段，GPT4 仍是最高水平。
• 国内大模型整体与 GPT3.5 水平相当，部分行业已实现赶超。

下一步计划

• 持续开展大模型在工业领域的多维度性能测评，包括鲁棒性、安全性、人类价值观等。
• 推动人工智能技术与实体经济的融合创新。
• 鼓励产学研用金各界合作，共同推进大模型在工业领域的应用与发展。

附录：测试题示例

客观题示例

• 选择题：并联谐振又叫做( )。

  • A、电流谐振
  • B、电压谐振
  • C、耦合谐振
  • D、复谐振

• 判断题：判断以下论述是否正确：计算机监控系统控制级别由高到低顺序为：就地控制、站控层控制、远程控制，三种级别间应相互闭锁，同一时刻只允许一级控制。

主观题示例

• 简答题：影响载流体接头接触电阻的主要因素是什么？
• 工艺流程题：分散印花的工艺流程是什么？
• 逻辑计算题：已知砂轮直径为 $\phi 400 , \text{mm}$，砂轮转速为 $1670 , \text{r/min}$，试求砂轮的圆周速度是多少？
• 工艺描述题：简述玻璃的熔制过程。

联系方式

• 联系人：叶老师、吴老师、何老师
• 电话：010-87901276
• 地址：北京市朝阳区酒仙桥北路电子城IT产业园D3楼
• 网址：www.china-aii.com

备注：本报告评测结果适用于测试期间，由于大模型迭代速度快，报告结论可能存在片面性，欢迎业界批评指正。