DeepSeek模型优势：算力、成本角度解读-浙江大学_24页_18mb

DeepSeek模型优势：算力、成本角度解读

核心内容

本文主要从算力和成本两个角度分析DeepSeek模型的优势，探讨其在面对美国对我国AI算力相关技术的禁令时，如何通过算法创新和系统优化实现突破。同时，文章还回顾了人工智能发展历史，并对比了国内外大模型的训练与推理成本，以及商业模式的差异。

主要观点

算力与成本的辩证关系

• 算力定义：算力是对信息数据进行计算、实现目标结果的能力，包括信息计算力、数据存储力和网络运载力。
• 传统算力：以大脑为代表，擅长处理复杂逻辑，但无法高速处理简单运算。
• 外部算力工具：从草绳、石子到算盘、计算器、计算机，逐步实现高速简单运算。
• 算力需求变化：随着人工智能时代到来，算力需求大幅上升，尤其是大模型训练过程中对高性能AI加速器的依赖。

大模型扩展规律

• 算力、数据集、模型参数：三者共同影响模型效果，算力越大、数据集越大、参数越多，模型效果越好。
• 算力瓶颈：当前大模型训练面临算力不足的挑战，尤其是受限于高性能内存（HBM）和高端GPU的禁令。

关键信息

DeepSeek模型优势

• 算力成本优势：DeepSeek v3模型训练成本为5,576,000美元，远低于Llama 3.1的30.84 M美元。
• 训练效率提升：DeepSeek v3使用14.8T训练token，而Llama 3.1使用15T训练token。
• 模型规模：DeepSeek v3拥有671B参数，而Llama 3.1为405B参数。
• MoE架构：采用1+256的MoE模型，仅激活37B参数（5.5%），显著减少计算量。
• MLA技术：低秩压缩技术，减少计算量并节省HBM空间，已开源。

算力与存储优化

• KV Cache优化：通过MLA技术，推理时KV Cache使用量减少93.3%，显著提升推理性能和降低成本。
• DualPipe技术：实现通信与计算的重叠，提升整体效率。

算力与系统协同优化

• 自研轻量级框架：允许系统极致性能优化。
• FP8训练：提升算力密度。
• PTX优化：绕开CUDA的护城河，通过定制化PTX指令和自动调整通信块大小，降低L2缓存使用和对其他SM的干扰。

国内外商业模式对比

美国对我国的禁令及其影响

• 算力禁令：2023年禁止出口高端AI芯片（如A100、H800等）。
• 运力禁令：2022年限制AI加速器的互联带宽。
• 存力禁令：2024年禁止HBM芯片。
• 光刻机禁令：2024年限制荷兰ASML出口7nm光刻机。
• 后果：国内AI优质算力存在差距，需依赖国产替代方案。

DeepSeek与Llama 3.1对比

未来展望

• 突破卡脖子：通过“战术穿插”和“火力覆盖”策略，突破美国在算力、存储、制造等领域的限制。
• 工业化优势：利用国内的工业化水平，实现低成本、高性能的AI模型训练与部署。
• 个人预测：中国有望通过突破模型和算力瓶颈，在AI竞赛中取得优势，赢得国际尊重。

总结

DeepSeek通过算法创新（如MoE、MLA）和系统优化（如PTX、DualPipe）在算力受限的环境下，实现了成本优势和性能突破。面对美国的技术禁令，DeepSeek展示了中国在AI领域的自主创新能力。未来，随着国产算力和制造技术的进一步发展，中国有望在全球AI竞赛中占据有利位置。