2024-01-19-InfoQ-2024大语言模型能力测评报告_43页_4mb

2024年大模型综合能力测评报告总结

大模型发展回顾

2023年成为大模型市场爆发期，由大数据、大算力和大算法共同推动多模态理解和生成能力。中国大模型在政策引导和企业推动下加速发展，2023年下半年出现"百模大战"，众多开源模型涌现，体现了从通用大模型向行业应用的扩张。

政策与规范

2023年中央及地方政府密集出台多项政策，明确生成式人工智能的责任义务、安全评估与管理办法，支持构建高质量数据资源，为大模型发展提供制度保障。

技术进展

• 产品迭代：6月后发布的模型如讯飞星火、通义千问等，性能显著提升，支持更长上下文窗口（最高192k），具备实质性多模态能力。
• 能力建设：编程、写作、翻译、商业文案等领域表现突出；逻辑推理与多模态识别仍为挑战。
• 测试结果：ChatGPT、文心一言、讯飞星火排名前三，得分超过80%；百模产品能力呈现阶段性特征。

应用落地

大模型逐步向大众用户开放，深入办公、教育、金融、医疗等场景。企业级应用快速推进，"人机协同"成为新趋势。开发者付费比例达63.5%，百元以上用户占比已超10%。

核心发现

• 大模型能力整体提升，编程、上下文理解、翻译为突出优势；
• 多模态和逻辑推理仍是瓶颈；
• 中国正确立以龙头企业为引领的产品梯队，算法备案制度使发展进入规范化新阶段；
• 大模型有望催生新型超级应用，推动用户和企业级需求双重增长。

报告指出，2024年将见证大模型在企业应用、产品创新和超级应用场景方面的重要突破，人工智能产业进入全面提速新阶段。