中国工业互联网研究院：通用人工智能大模型工业领域知识问答性能评估_29页_3mb

通用人工智能大模型工业领域知识问答性能评估总结

核心内容

本报告由中国工业互联网研究院发布，旨在评估人工智能大模型在工业领域的知识问答能力。评测内容覆盖工业领域八大行业，包括电子设备制造、装备制造、钢铁、采矿、电力、石化化工、建材和纺织行业。报告通过构建行业知识测试集，对国内外代表性大模型进行测评，总结其在知识问答中的表现，并提出后续改进方向。

主要观点

评测规则与方法

• 测试范围：选取工业领域八大行业，按行业构建知识测试集。
• 测试题型：包含单选题（105题）、判断题（30题）和简答题（3题），共计约1100道题。
• 评分标准：
  • 客观题：答对得分，答错不得分。
  • 主观题：从基础能力、语句能力、概括能力、逻辑能力四个维度进行评分，每个维度5分。
• 综合评价指数：将每个行业得分归一化处理，统一为100分制。

评测结果

• 模型维度：
  • GPT4 在工业知识问答测试中表现最佳。
  • 国内大模型 整体与 GPT3.5 相当，部分头部模型在特定行业已实现赶超。
  • 准确率与标准差：准确率越高的模型在工业知识问答中的标准差越大，表明其泛化能力较弱。
• 行业维度：
  • 电子设备制造 和 装备制造 行业评价指数较高。
  • 纺织 和 采矿 行业综合评价指数较低，需进一步丰富相关领域的数据训练集。
• 自我认知能力：
  • GPT4 能够主动识别知识盲区，而国内大模型在识别自身能力不足方面仍需提升。
• 污染问题分析能力：
  • GPT4 表现出较强的辨别能力，能识别违背常理的问题。
  • 国内大模型在该方面普遍较弱，建议加强输入内容合理性判断。

关键信息

测评结果概览

评测结论

• 客观题表现：国内外大模型平均准确率普遍不高，提升空间巨大。不同行业间的泛化能力差异明显，尤其在信息量较小的行业（如纺织、采矿）表现较弱。
• 主观题表现：
  • 部分模型在基础能力上接近 GPT4，但在概括能力和逻辑能力上存在差距。
  • 建材行业语句能力偏低，需加强训练。
• 综合结论：当前通用大模型在工业知识问答领域仍处于初级阶段，GPT4 是目前最高水平。国内大模型整体与 GPT3.5 相当，头部模型在部分行业已实现赶超。

下一步计划

• 持续测评：推动更多维度的性能测评，包括鲁棒性、安全性、人类价值观等。
• 合作推进：依托工业和信息化部科技司指导，加强与产学研用金各界的合作。
• 优化方向：建议国内大模型继续扩充训练数据，加强行业针对性微调，提升自我认知与污染问题分析能力。

附录：头部大模型信息

联系方式

• 联系人：叶老师 13661350566
• 吴老师 15210188099
• 何老师 13621079268
• 地址：北京市朝阳区酒仙桥北路电子城IT产业园D3楼
• 电话：010-87901276
• 网址：www.china-aii.com