2026_Kimi-K2.5技术报告_30页_12mb

Kimi K2.5 技术报告总结

核心内容

Kimi K2.5 是一个开源的多模态代理模型，旨在推动通用代理智能的发展。该模型通过联合优化文本和视觉模态，提升其在多个领域的性能，包括编码、视觉、推理和代理任务。K2.5 引入了 Agent Swarm，这是一个自驱动的并行代理编排框架，能够将复杂任务动态分解为异构子问题，并并行执行以提高效率和性能。

主要观点

1. 联合优化文本与视觉

Kimi K2.5 在训练过程中采用了一种 联合文本-视觉预训练 的方法，通过在训练早期融合视觉和文本信息，以较低的视觉比例实现更好的多模态表现。与传统的在训练后期注入视觉信息的方法不同，这种策略允许模型自然地发展出平衡的多模态表示。

• 早期融合：在固定视觉-文本标记预算下，早期融合和较低的视觉比例带来更好的结果。
• 零视觉SFT：在微调阶段，仅使用文本数据进行训练可以激活视觉和代理能力，避免了人工设计的视觉轨迹对泛化能力的限制。
• 联合强化学习（RL）：视觉RL不仅提升了视觉能力，还增强了文本推理性能，如在 MMLU-Pro 和 GPQA-Diamond 上分别提升了 1.7% 和 2.1%。

2. Agent Swarm：并行代理编排框架

传统的代理系统依赖于串行执行推理和工具调用步骤，导致推理延迟和任务复杂度受限。Kimi K2.5 引入了 Agent Swarm，通过并行任务分解和子代理实例化，显著提高了执行效率。

• 动态任务分解：Agent Swarm 能够将复杂任务分解为多个并行子任务，由不同领域的子代理执行。
• 并行代理强化学习（PARL）：采用 PARL 方法，通过环境反馈和强化学习探索来学习何时、如何并行执行任务。
• 奖励机制：定义了 PARL 奖励函数，包括实例化奖励、子代理完成率奖励和任务级性能奖励，以确保模型在并行执行时的稳定性和有效性。
• 性能提升：在广泛搜索场景下，Agent Swarm 将推理延迟降低了 4.5 倍，同时提升了 F1 分数从 72.8% 到 79.0%。

关键信息

3. 模型架构

Kimi K2.5 的多模态架构包含以下三个核心组件：

• MoonViT-3D：一个原生分辨率的视觉编码器，支持不同分辨率的图像输入，并引入了轻量级的 3D ViT 压缩机制，以处理更长的视频。
• MLP 投影器：用于将视觉特征映射到语言模型空间。
• Kimi K2 MoE 语言模型：基于 Kimi K2 的混合专家模型，具备强大的语言理解能力。

4. 预训练流程

Kimi K2.5 的预训练流程分为三个阶段：

• ViT 训练阶段：使用图像-文本和视频-文本对进行训练，优化图像描述生成和视觉对齐。
• 联合预训练阶段：在 Kimi K2 的基础上，使用 15T 的视觉-文本标记进行联合训练，提升多模态能力。
• 长上下文激活阶段：使用高质量的中间训练数据和 YaRN 插值技术，逐步扩展上下文长度，提升长文本和长视频理解能力。

5. 微调流程

• 监督微调（SFT）：使用合成的高质量候选响应和内部专家模型生成的响应数据进行训练，优化模型在复杂任务中的表现。
• 强化学习（RL）：基于统一的代理强化学习环境，优化 RL 算法，实现文本和视觉模态的联合优化，以及 Agent Swarm 的并行执行。

6. 性能评估

Kimi K2.5 在多个基准测试中表现出色，包括：

• 视觉任务：MMMU Pro、MathVision、OmniDocBench 1.5*。
• 编码任务：SWE-bench Verified、SWE-bench Multilingual。
• 视频任务：VideoMMMU。
• 推理任务：MMLU-Pro、GPQA-Diamond、LongBench v2。

Kimi K2.5 在这些任务中均取得了最先进的结果，并在多模态任务中展现了强大的泛化能力和推理能力。

总结

Kimi K2.5 是一个高度集成的多模态代理模型，通过联合优化文本和视觉模态，显著提升了模型在复杂任务中的表现。其引入的 Agent Swarm 框架，通过并行执行和动态任务分解，实现了推理延迟的大幅降低和任务复杂度的提升。此外，K2.5 的训练方法和架构设计为未来的通用代理智能研究和应用提供了坚实的基础。我们开源了 K2.5 的预训练模型检查点，以促进社区在通用代理智能领域的进一步发展。