R1Kimi_1.5及类强推理模型开发解读报告：2025年DeepSeek_76页_8mb

DeepSeek-R1 & Kimi 1.5 强推理模型开发解读总结

核心内容

DeepSeek-R1 和 Kimi 1.5 是当前大语言模型领域中两个具有代表性的强推理模型，它们通过强化学习（RL）显著提升了模型在数学、代码、逻辑推理等任务上的表现。DeepSeek-R1 采用纯强化学习方式，跳过了监督微调（SFT）阶段，直接通过大规模 RL 训练提升了推理能力。Kimi 1.5 则基于 In-Context RL 的思路，通过长文本链式推理（CoT）来优化推理过程。两者都强调推理能力的提升，并探索了如何在不依赖人工标注数据的情况下实现模型的自主学习与推理优化。

主要观点

1. RL 加持下的推理范式：

   • DeepSeek-R1 通过 GRPO（Group Relative Policy Optimization）算法实现了推理能力的提升，强调通过群组内的相对奖励来估计基线，从而避免使用额外的价值函数模型。
   • Kimi 1.5 采用 In-Context RL 的方法，将搜索中的状态与价值视为语言标记，直接训练模型的推理过程。

2. 无需 SFT 的纯 RL 训练：

   • DeepSeek-R1 Zero 通过纯 RL 训练，无需依赖高质量 SFT 数据集，降低了标注成本，同时提升了模型的泛化能力和推理能力。
   • 该方法依赖于一个足够强的基座模型（DeepSeek-V3 Base），在 14.8T 高质量 Token 上训练，为后续 RL 探索提供了良好的起点。

3. 推理能力的自然涌现：

   • 模型在 RL 训练中自然表现出更长的推理链、自我修正和反思等能力，而非预先设定。
   • 自我修复机制和启发式搜索能力使得模型能够处理复杂任务，例如数学推理、代码生成等。

4. 多阶段训练与冷启动优化：

   • DeepSeek-R1 采用四阶段训练流程：Pretraining $\rightarrow$ SFT $\rightarrow$ Long-CoT SFT $\rightarrow$ RL，有效解决了 RL 冷启动和收敛效率问题。
   • 冷启动策略使得模型在初期更稳定，加快训练收敛速度。

5. 奖励机制设计：

   • DeepSeek-R1 采用规则化奖励，结合准确率奖励和格式奖励，确保推理过程的规范性和可读性。
   • Kimi 1.5 则引入了长度惩罚奖励，平衡推理长度与正确率之间的关系，避免模型生成冗长或无效的推理链。

6. 多模态与推理能力拓展：

   • DeepSeek-R1 通过合成数据和测试时扩展（Test-Time Scaling）提升了推理能力，同时探索了多模态推理的潜力。
   • Kimi 1.5 通过构造合成视觉推理数据，提升了模型在图像理解、空间推理等任务上的表现。

7. 推理范式与模型能力对比：

   • STaR（Self-Training with Rationale）方法通过生成推理路径并过滤错误答案来训练模型，而 RL 方法则更注重探索与自我修正。
   • RL 在处理长文本、复杂推理任务时表现更优，而 STaR 在一定程度上受限于数据质量与多样性。

关键信息

• DeepSeek-R1 的表现：

  • 在 AIME 2024 上获得 79.8% 的成绩，略高于 OpenAI-o1-1217。
  • 在 MATH-500 上达到 97.3% 的准确率，与 OpenAI-o1-1217 相当。
  • 在 Codeforces 上获得 2029 Elo 评级，优于 96.3% 的人类参与者。

• Kimi 1.5 的表现：

  • 在数学任务中表现突出，通过长文本 CoT 推理，提升了模型的推理深度。
  • 采用课程学习（Curriculum Learning）和优先采样（Prioritized Sampling）策略，提高训练效率和模型稳定性。

• 技术亮点：

  • GRPO 算法降低了 RL 训练的计算成本，同时保证了模型的策略优化。
  • 自动化奖励机制（如基于规则的奖励）避免了 reward hacking 的风险。
  • 长文本推理能力的自然涌现和控制，如通过长度惩罚奖励实现推理链的合理控制。

• 模型架构与训练成本：

  • DeepSeek-R1 基于 MoE 架构，参数量达到 671B，训练成本约为 557.6 万美元。
  • Kimi 1.5 则更注重推理路径的优化，通过 In-Context RL 方法实现模型能力的提升。

• 未来方向：

  • 探索多模态推理能力，如图像理解与文本推理的融合。
  • 推动合成数据与 Test-Time Scaling 的结合，以突破数据再生产陷阱。
  • 强化模型的安全性与可解释性，如引入形式化验证和审计对齐方法。

技术对比

总结

DeepSeek-R1 和 Kimi 1.5 都代表了强化学习在推理能力提升上的重要突破。DeepSeek-R1 通过 GRPO 和规则化奖励机制，实现了无需 SFT 的纯 RL 推理能力提升；而 Kimi 1.5 通过 In-Context RL 和长文本 CoT 推理，优化了模型的推理深度与效率。两者都展示了 RL 在复杂推理任务中的潜力，并为未来多模态推理和推理能力的进一步拓展提供了新的思路。