中文大模型基准测评2024年度报告_89页_27mb

2024年中文大模型阶段性进展年度评估报告总结

背景与目标

本次报告旨在精准量化通用人工智能（AGI）进展，为人类迈向AGI提供路线图。

报告摘要

• 全球领先模型：OpenAI发布的o1正式版以804分大幅领先全球，较ChatGPT-4o-latest高102分。
• 国内大模型进展：国内顶尖模型DeepSeek-V3、SenseChat55-latest和360zhinao2-o1分别取得683分，接近ChatGPT-4o-latest，仅差19分。
• 优势领域：国内模型在推理速度、性价比和端侧小模型上表现优异，如DeepSeek-V3和Qwen系列在效率和成本上具有竞争力。

2024年关键进展

1. 技术跃进：OpenAI的系列模型迭代显著提升性能，国内模型快速跟进。
2. 差距拉大：自2023年5月以来，国内外顶尖模型差距从3012%扩大至1505%。
3. 趋势：国内模型在中文任务上接近GPT-4o，但在理科和Hard任务上仍有不足。

SuperCLUE测评体系

报告采用三大维度测评（理科、文科、Hard任务），覆盖1325道客观题，强调自动化与人工验证的可靠性。

测评结果分析

• 全球对比：
  • o1在所有任务中表现最突出，尤其在理科任务中领先20分以上。
  • DeepSeek-V3在Hard任务和文科任务上接近或超越部分国际模型。
• 国内表现：
  • 国内模型在文科任务上整体表现优于海外模型。
  • 部分开源和端侧小模型（如Qwen25-3B-Instruct）展现性价比优势，填补了小模型在实际应用中的空白。
• Agent与多模态任务：国内模型在中文Agent任务上仍落后海外模型，但在实时音视频、文生图等多模态任务中表现亮眼。

开源与端侧模型进展

• 开源优势：DeepSeek系列和Qwen系列代表模型在中文场景下已具备较强竞争力。
• 端侧模型：Qwen25系列和MiniCPM等小模型在资源有限设备上表现优异，落地性高。

行业与专项测评

• 包含汽车行业、金融领域、工业场景、智能座舱等大模型专业化测评，全面评估应用落地能力。

未来展望

SuperCLUE团队将持续完善大模型专项能力测评，推动中文大模型在国际上的影响力。

行动建议

1. 国产小模型应进一步优化推理速度与泛化能力。
2. 国内高校与企业合作，提高模型在理科与Hard任务的性能。
3. 加强多模态与Agent测评，推动设计更接近AGI的技术路线。