计算机行业专题研究：通过Kimi，看长文本的实现-240326-华泰证券-18页_2mb

通过 Kimi 看长文本的实现总结

核心内容

大模型的长上下文支持能力已成为当前重要的迭代方向。海外模型如 Anthropic Claude 3 和 Google Gemini 1.5 Pro 已实现较长的上下文支持，而国内模型厂商如月之暗面的 Kimi 智能助手也实现了显著突破，将上下文长度从 20 万字扩展至 200 万字。这一趋势为多类应用场景提供了新的可能性，如虚拟角色、AI Agent、垂直领域文档处理等。

主要观点

1. 长上下文成为趋势：随着大模型技术的演进，长上下文支持成为重要的发展方向，特别是在 AI+ 应用场景中，模型通过上下文学习代替微调，提高了通用性和效率。
2. Kimi 的突破：Kimi 智能助手在 2024 年 3 月实现 200 万字的上下文支持，是目前国内大模型中上下文长度领先的代表。其技术路径不同于常规的“滑动窗口”或“降采样”方法，而是通过无损长程注意力机制实现。
3. 实现方法多样：国内模型厂商在实现长上下文时，可能采用多种技术路线的混合优化，如长期记忆机制、改进注意力机制、优化位置编码、上下文预/后处理等。

关键信息

• Kimi 的技术突破：

  • 2023 年 10 月：支持 20 万字上下文，是当时国内模型中 Top1。
  • 2024 年 3 月：支持 200 万字上下文，性能提升显著。
  • 技术路径：无损长程注意力机制，不采用传统技术捷径，攻克底层技术难点。

• 技术实现难点：

  • 计算复杂度：Transformer 的注意力机制导致计算成本与序列长度的平方成正比。
  • 上下文内存：依赖 KV cache 存储历史信息，但缺乏显式长期记忆机制。
  • 最大长度限制：训练时设定的序列长度上限影响推理时的上下文支持，需通过优化方法突破。

• 实现长上下文的方法：

  1. 高效注意力机制：如局部注意力、稀疏注意力、近似注意力等。
  2. 长期记忆机制：如 Transformer-XL、RAG 等方法。
  3. 改进位置编码：如 RoPE、XPOS、NTK-RoPE 等。
  4. 上下文预/后处理：通过分段、压缩等方式确保输入符合最大长度限制。
  5. 其他优化方法：如 MoE、并行策略、权重压缩等。

• 产业链受益公司：

  • 文本工具：金山办公、福昕软件。
  • 法律文案：华宇软件、通达海。
  • 业务流程：泛微网络、致远互联。
  • 其他文本：汉仪股份、汉王科技。
  • 专业领域+多任务+多模态场景：
    • 金融领域：同花顺、恒生电子。
    • 医疗领域：嘉和美康。
    • 电商领域：光云科技。
  • AI 算力：浪潮信息、神州数码、海光信息。

投资建议

• 重点推荐公司：
  • 金山办公（688111 CH）：目标价 417.81 元，投资评级“买入”。
  • 福昕软件（688095 CH）：目标价 86.72 元，投资评级“买入”。
  • 泛微网络（603039 CH）：目标价 74.12 元，投资评级“买入”。
  • 汉王科技（002362 CH）：目标价 25.74 元，投资评级“买入”。
  • 同花顺（300033 CH）：目标价 169.06 元，投资评级“买入”。
  • 恒生电子（600570 CH）：目标价 35.19 元，投资评级“买入”。

风险提示

1. 宏观经济波动：可能影响 AI 投入及行业增长预期。
2. 技术进步不及预期：若技术发展缓慢，可能影响相关应用落地。
3. 竞争加剧：国内厂商的快速迭代可能带来更大的竞争压力。

结构清晰总结

长上下文的重要性

• 长上下文支持是大模型迭代的重要方向。
• 可用于虚拟角色、AI Agent、垂直领域文档处理等场景。
• 可替代模型微调，提升通用性。

Kimi 的表现与技术路径

• Kimi 在 2023 年 10 月发布时即支持 20 万字，2024 年 3 月扩展至 200 万字。
• 技术路径：无损长程注意力机制，不走滑动窗口等技术捷径。
• 技术难度高，但性能提升显著，响应速度提升 3 倍，支持上传 500 个文档。

技术实现方法

• 注意力机制优化：局部注意力、稀疏注意力、近似注意力等。
• 长期记忆机制：如 Transformer-XL、RAG。
• 位置编码改进：RoPE、XPOS、NTK-RoPE 等。
• 上下文预/后处理：分段处理、压缩等方法。
• 其他优化方法：MoE、并行策略、权重压缩等。

产业链受益情况

• 文本工具：金山办公、福昕软件。
• 法律文案：华宇软件、通达海。
• 业务流程：泛微网络、致远互联。
• 其他文本：汉仪股份、汉王科技。
• 专业领域+多任务+多模态：
  • 金融：同花顺、恒生电子。
  • 医疗：嘉和美康。
  • 电商：光云科技。
• AI 算力：浪潮信息、神州数码、海光信息。

投资建议与目标价

未来展望

• 长上下文能力将进一步拓宽模型的应用场景。
• 国内厂商可能在原有技术积累基础上，采用多方法混合优化实现长上下文。
• 随着大模型在垂直领域的应用深化，相关产业链公司有望受益。

风险提示

• 宏观经济波动：可能影响行业增长及 AI 投入。
• 技术进步不及预期：可能影响模型落地速度。
• 竞争加剧：国内厂商快速迭代，可能带来更大竞争压力。