20260127-海通国际-DeepSeek_Engram_把_回忆_交给查表_把算力留给推理_12页_1mb

中国电子 China (Overseas) Technology 文档总结

核心内容

DeepSeek 与北京大学于 2026 年 1 月联合发布了一篇重要论文，提出了一种基于“条件记忆”的新型模型架构——Engram。该模型通过引入哈希查表机制，实现静态知识的 O(1) 时间检索，并结合门控机制与主干网络融合，显著提升了模型的计算效率和任务性能。

Engram 的核心创新在于将“固定知识的回忆”从复杂的模型计算中分离出来，使主干网络能够专注于更具挑战性的推理与上下文理解任务。该架构在等参数、等 FLOPs 约束下，Engram-27B 在多个基准测试（如 MMLU、BBH、HumanEval、MATH）中均表现出优于 MoE-27B 的系统性提升，尤其在长上下文任务上表现突出。

主要观点

• Engram 架构优势：

  • 通过“条件记忆”机制，实现静态知识的高效检索，减少主干网络的计算负担。
  • 在等参数、等 FLOPs 约束下，模型性能提升显著，尤其在知识密集型与复杂推理任务中。
  • 验证了“存算分离”的可行性，支持将大规模参数表卸载至主机内存，同时保持推理吞吐量可控。
  • 相关代码已在 GitHub 开源，具备较强的可复现性。

• 稀疏性分配与扩展性：

  • 模型内部资源分配存在优化路径，将部分计算资源从主干网络转移到条件记忆模块，可实现性能提升。
  • 通过非线性扩展方式，Engram 可在不显著增加计算成本的情况下提升模型容量。
  • 模型在长上下文任务中表现优异，如 RULER 子任务，其预训练计算量仅为基线的 82%，但准确率更高。

• 对 AI 基础设施的影响：

  • 降低对高端 HBM 的依赖，转向使用系统内存（如 DRAM）与高效互联技术（如 PCIe、CXL、NVLink）。
  • 强化对 DRAM 的需求，推动内存通道价值提升。
  • 提升互联带宽与分层存储体系的重要性，可能引入 NVMe SSD 等介质承载冷数据。

• 对 CPU 的影响：

  • CPU 从“配角”转变为“关键节点”，负责内存预取与数据传输，实现通信与计算的重叠。
  • 在 NVIDIA H800 上，Engram-27B 模型在将 100B 参数卸载至主机内存后，吞吐损失控制在 3% 以内。

• 对中国大模型的积极影响：

  • 在高端显存与算力受限时，提升“每单位硬件的产出”。
  • 为技术追赶提供更清晰路径，通过架构优化而非单纯依赖算力堆叠实现性能提升。
  • 降低产业界验证与复用门槛，有助于大模型的规模化部署与商业化推广。

关键信息

• Engram-27B 性能提升：

  • MMLU +3.0
  • BBH +5.0
  • HumanEval +3.0
  • MATH +2.4

• 硬件需求变化：

  • 从依赖 GPU 显存转向“GPU 算力 + 大容量系统内存 + 高效互联技术”协同配置。
  • 预计在 2026 年第一季度，存储器价格将持续上涨，数据中心将成为高端内存的主要消费者。

• 代码开源：

  • 相关论文与代码已在 GitHub 开源，提升技术可复现性与产业应用潜力。

• 风险提示：

  • 竞争加剧
  • 供应链风险
  • 算力成本与商业化变现不及预期风险

评级定义

• 优于大市 (Outperform)：预期相对基准指数涨幅在 10% 以上。
• 中性 (Neutral)：预期相对基准指数变化不大，归类为“持有”。
• 弱于大市 (Underperform)：预期相对基准指数跌幅在 10% 以上。

评级分布（截至 2025 年 12 月 31 日）

*各评级类别中投资银行客户所占百分比。

其他信息

• Q100 指数：HTI 的 Q100 指数由 100 支优质中国 A 股组成，基于国泰海通证券的 A 股研究筛选。
• 免责声明：
  • 本报告不构成投资建议，不保证数据准确性与完整性。
  • 所有观点基于报告发布日，如有更改，恕不另行通知。
  • 报告中提及的证券或衍生品可能无法在某些司法管辖区进行买卖。
  • 本报告可能涉及利益冲突，需参考 HTI 官方披露信息。

总结

Engram 架构通过“条件记忆”机制，实现了高效静态知识检索，使主干网络更专注于复杂推理任务，提升了模型的整体效率与性能。其对 AI 基础设施的影响深远，可能改变硬件需求结构，推动 CPU、内存与互联技术的重要性提升。该架构对中国大模型产业具有积极意义，有助于在算力与显存受限情况下实现更高效的模型部署与商业化。