20260113-浙商证券-计算机行业点评报告_DeepSeek提出Engram模块_通过条件记忆提升模型效率_3页_368kb
报告摘要
DeepSeek 提出 Engram 模块,通过条件记忆提升模型效率 总结
核心内容
DeepSeek 在 2026 年 1 月 12 日发布了一项名为“Engram”的新技术研究,旨在优化大语言模型的存储与提取效率。该技术通过引入“条件记忆”机制,将静态知识存储在一个可扩展的嵌入表中,并利用哈希索引快速访问,从而显著提升了模型的查询速度和推理能力。
主要观点
- Engram 模块的创新性:Engram 是一种全新的模块,它通过将静态知识(如“张仲景”、“四大发明”等固定搭配)存储在一个大规模的嵌入表中,实现快速查询和高效提取。
- 查询速度提升:Engram 模块能够在内存表中直接查找对应向量,极大提高了查询效率。
- 计算成本降低:该模块允许将庞大的嵌入表存储在成本较低、扩展性强的 CPU 内存(DRAM)中,从而有效降低计算资源的消耗。
- 智能程度增强:由于计算资源被更高效地利用,模型可以将更多资源用于推理任务,提升其逻辑推理、代码生成和数学能力。
- 长文本处理优势:Engram 模块在长文本领域表现出色,通过“局部记忆”外包,使得 Transformer 的注意力机制能够更高效地处理整体信息。
关键信息
技术效果
- 在 MMLU(综合知识)上,Engram 模型提升了 3.4 分;
- 在 CMMLU(中文知识)上,提升了 4.0 分;
- 在 BBH(综合推理)上,Engram-27B 比同参数的纯 MoE 基线提升了 5.0 分;
- 在 MATH(数学)上,提升了 2.4 分;
- 在 HumanEval(代码生成)上,提升了 3.0 分;
- 在 ARC-Challenge(复杂推理)上,提升了 3.7 分。
行业影响
- Engram 技术为大语言模型的架构优化提供了新的思路,有助于提升模型性能与效率。
- DeepSeek 预计将在其下一代模型 DeepSeekV4 中集成该技术,从而增强其在知识库规模、推理能力和推理成本方面的竞争力。
建议关注标的
- 互联网大厂合作伙伴:包括亚信科技、星环科技、泛微网络、新点软件、博思软件、长亮科技、东华软件、启明星辰、深信服、云赛智联、微盟、有赞等;
- 应用厂商:包括合合信息、万兴科技、京北方、宇信科技、华宇软件、卫宁健康、创业慧康、嘉和美康、用友网络、金蝶国际等;
- 算力基础设施:寒武纪、海光信息、弘信电子、首都在线、光环新网、优刻得、万国数据、科华数据、浪潮信息等。
投资评级
- 行业评级:看好(维持)
- 股票投资评级:根据未来 6 个月证券相对于沪深 300 指数的表现,分为买入、增持、中性、减持四类。
风险提示
- 技术不及预期
- 产业需求不及预期
其他信息
- 本报告由浙商证券股份有限公司发布,信息来源于公开资料,不保证其真实性、准确性及完整性。
- 报告仅供客户参考,不构成投资建议,投资者应独立评估。
- 报告版权归属浙商证券,未经许可不得复制、发布或传播。
相关报告
- 《对DeepSeek新版本的几点期待》2026.01.11
- 《2026年计算机行业风险排雷手册》2025.12.29
- 《国产算力破局时,应用爆发启新程》2025.11.18
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载