复旦大学（张奇）：2024年大语言模型的能力边界与发展思考报告-101页_17mb

大语言模型能力边界与发展思考

一、 问题边界：

1. 大模型的“无所不能”与真实落地能力之间存在显著差距。
2. 理论论述充分，实证数据丰富，但实际影响有限，可能仍有“巴别塔效应”。

二、 发展路径：

1. 能力边界论证：

   • 预训练阶段：完成知识记忆与表示学习，为模型提供“知识仓库”。
   • 微调阶段（SFT、RLHF）：通过特定指令提升生成任务能力，但存在“知识失忆”风险，需谨慎设计数据量。
   • 平衡训练目标与保持核心知识，推荐少样本微调策略。
   • 分类归纳逻辑或存在局限性，逆向知识搜索能力不足。

2. 实际能力评估：

   • 知识运用能力主要集中于文本生成、简单问答，更依赖预训练阶段知识而非SFT输入。
   • 推理能力有限，尤其涉及多跳逻辑、物理复合题及实时规划。

3. 发展建议：

   • 规模路线：投入资源扩大模型规模，致力于AGI实现，同时需兼顾伦理和社会责任。
   • 应用落地：考虑商用路径，通过成本核算评估模型实用于垂直领域的可能性。

三、 阶段总结：
大语言模型的边界和未来发展仍需系统性理论探讨与实证验证，以平衡技术探索与实际应用需求。