【浙江大学_王则可_】2025年DeepSeek模型优势：算力、成本角度解读报告_24页_18mb

DeepSeek模型优势：算力、成本角度解读总结

核心内容

DeepSeek 是一款国内大模型，其优势主要体现在算力利用效率高、训练成本低以及对美国技术禁令的应对策略上。该模型通过一系列算法和系统层面的创新，如MoE（混合专家）模型、MLA（低秩压缩）技术、DualPipe等，实现了在算力受限情况下的高性能表现。

主要观点

• 算力与大模型的关系：随着大模型的发展，算力需求迅速增长，尤其是训练过程中，对算力、存力和运力提出了更高要求。
• 算力瓶颈与政策限制：美国对高端AI芯片、HBM内存、光刻机等关键硬件实施出口禁令，导致国内AI优质算力面临严重挑战。
• DeepSeek的创新策略：DeepSeek 通过算法创新（如 MLA、MoE）和系统优化（如 PTX 编程、DualPipe）来降低训练成本，提升模型性能。
• 成本控制与工业化优势：国内在AI工业化方面具有成本优势，尤其在训练和推理环节，通过“战术穿插”策略有效应对算力不足问题。

关键信息

1. 算力定义与演变

• 算力：指对信息数据进行计算，实现目标结果的能力。
• 传统算力：仅关注信息计算力。
• 现代算力：包括信息计算力、数据存储力、网络运载力。
• 原生算力：大脑，擅长复杂逻辑处理，但无法高速处理简单运算。
• 外部算力工具：从草绳、石子、算盘、计算器到计算机，逐步提升算力效率。

2. 人工智能时代算力需求

• 大型机时代（1940-1980）：数字化未开始，算力需求潜力未发掘。
• PC时代（1980-2000）：一个应用只需一台电脑，算力充足。
• 云计算时代（2000-2020）：应用需要多台机器，算力基本够。
• 人工智能时代（2020-）：算力开始不足，需大量高性能AI加速器。

3. 大模型算力与成本估计

• 数据量 (D)：> 15 * 模型参数量 (N)
• 计算次数 (C)：≈ 6 * N * D
• 万亿模型计算量：C ≈ 1.5 * 10²⁵

4. 算力与硬件对比

5. DeepSeek 与国际大模型对比

6. DeepSeek 的核心技术

• MLA（低秩压缩）：通过低秩压缩技术显著降低KV Cache存储需求，降低推理成本，提升推理性能。
• MoE（混合专家）：采用1个共享专家 + 256个路由专家的结构，每个token仅激活少量专家，从而减少计算量。
• DualPipe：通过通信与计算的重叠，提升GPU利用率。
• PTX编程：绕开CUDA，直接使用PTX指令控制GPU内部硬件，提升算力密度。

7. 国内与国际AI商业模式对比

• 国际模式：大资金、大算力、大模型，依赖高端GPU和HBM内存。
• 国内模式：通过融资、购买GPU、训练大模型、提供服务，实现低成本工业化优势，尤其在算力受限情况下更具韧性。

8. 政策与技术限制

• 美国禁令：限制高端AI芯片、HBM内存、7nm光刻机等关键资源的出口，对国内算力发展形成制约。
• 国产替代：中芯国际等硬核企业突破工艺限制，华为等公司提供高算力密度硬件，为国内大模型发展提供支持。

9. DeepSeek 发展历程

• V1（2024年1月）：7B、67B参数，上下文长度4K，训练成本300.6K GPU小时。
• V2（2024年6月）：236B参数，上下文长度128K，训练成本172.8K GPU小时。
• V3（2024年12月）：671B参数，上下文长度128K，训练成本2.788M GPU小时。

10. 未来展望

• 突破卡脖子：通过“战术穿插”+“火力覆盖”策略，国内大模型有望在算力受限的情况下仍保持竞争力。
• AI工业化优势：中国在AI工业化方面具备成本和效率优势，有望在AI竞赛中取得突破。

总结

DeepSeek 模型通过算法与系统协同优化，成功在算力受限的情况下实现高性能和低成本训练。面对美国的技术封锁，DeepSeek 采用创新策略，如 MLA、MoE、DualPipe 和 PTX 编程，显著提升了模型效率和资源利用率。在国内AI商业模式的支持下，DeepSeek 不仅在技术上实现突破，也在成本控制和工业化应用方面展现出明显优势，有望在未来AI竞争中占据重要地位。