20250213-江海证券-传媒行业_豆包大模型团队提出全新超稀疏架构_推理成本大幅下降_4页_364kb

传媒行业点评报告总结

核心内容

本报告为江海证券研究发展部发布的传媒行业点评，发布日期为2025年2月13日。分析师张婧提出对传媒行业的投资建议，维持“增持”评级，并指出AI agent产业的发展潜力。报告重点分析了字节跳动豆包大模型团队提出的新型超稀疏模型架构UltraMem，强调其在提升推理速度和降低推理成本方面的突破。

主要观点

1. UltraMem 架构的创新性

• 事件背景：2025年2月12日，字节跳动豆包大模型团队发布UltraMem架构，旨在解决MoE架构在推理时访存成本高、速度慢的问题。
• 性能提升：在相同参数和激活条件下，UltraMem的推理速度比MoE提升了2-6倍，推理成本最高可降低83%。
• 访存优化：相比MoE，UltraMem在常见batch size规模下，访存成本接近同计算量的Dense模型，显著优化了模型的效率。
• Scaling特性：UltraMem不仅具备优异的Scaling特性，还在性能上超越了MoE，展现出更强的扩展能力。

2. LLM能力增长的挑战

• 资源需求：LLM能力的提升需要指数级增长的计算资源，这对资源有限的实时应用场景构成挑战。
• 现有方案局限：此前提出的MoE和PKM方案均存在一定的局限性。MoE虽然解耦了计算和参数，但在小batch size下访存成本高，推理速度慢；PKM虽然解决了访存问题，但效果差且扩展能力弱。

3. UltraMem的优化方向

• 结构优化：借鉴PKM的设计，优化模型结构以提升访存效率。
• 检索优化：改进value检索方式，提升模型在实际应用中的表现。
• 参数扩展：通过隐式扩展稀疏参数，降低显存和部署成本，实现更高效的模型运行。

关键信息

• 行业表现：近十二个月传媒行业相对收益为20.77%，绝对收益为37.26%，表现优于沪深300指数。
• 投资建议：持续看好AI agent产业发展，重点推荐汉得信息、鼎捷数智、创业黑马、值得买等公司。
• 风险提示：包括AI产业政策风险、AI agent行业发展不及预期、相关标的业绩不及预期等。

投资评级说明

• 股票评级：买入（相对基准指数涨幅>15%）、增持（相对基准指数涨幅5%-15%）、持有（相对基准指数涨幅-5%-5%）、减持（相对基准指数跌幅>5%）。
• 行业评级：增持（相对基准指数涨幅>10%）、中性（相对基准指数涨幅-10%-10%）、减持（相对基准指数跌幅>10%）。

特别声明与免责声明

• 本报告仅供参考，不构成投资建议，投资者应自行判断。
• 本公司及分析师不保证报告的准确性、完整性或时效性，亦不对报告内容造成的任何损失承担责任。
• 报告信息来源于公开资料，可能包含不准确或过时内容，投资者应自行核实。
• 本报告版权归属江海证券有限公司，未经授权不得使用或传播。

分析师介绍

• 姓名：张婧
• 执业证书编号：S1410525010001
• 背景：经济学硕士，曾从事权益研究工作，具有丰富的行业分析经验。

分析师声明

• 张婧具有证券投资咨询执业资格，对报告内容负责，确保信息合法合规、分析专业审慎、观点独立公正。
• 报告内容与分析师薪酬无直接或间接关联，保持独立性与客观性。