【浙大】2025年DeepSeek:智能时代的全面到来和人机协作的新常态报告_71页_12mb
报告摘要
DeepSeek 文档总结
核心内容
- 智能时代的全面到来:DeepSeek 提出智能时代已经到来,人机协作成为常态。
- GPT 的大数据训练:GPT 从 GPT-1 到 GPT-3,训练数据量显著增加,主要依赖维基百科、书籍、杂志期刊、Reddit 链接和 Common Crawl 等数据源。
- DeepSeek 的数据策略:DeepSeek 采用“营养搭配+错题训练+循序渐进”的数据策略,强调强化代码和数学的高质量数据,训练成本显著降低。
主要观点
- 大模型带来的知识变革:大模型能够整合全体人类知识空间、多媒体知识空间,形成新的知识体系。
- 思维链(Chain of Thoughts, CoT):思维链技术通过模拟人类推理过程,提升模型处理复杂任务的能力,强调推理过程的显示和可追溯性。
- 人机协作的社会影响:AI 的发展将带来新工作机会,同时促进社会结构和工作方式的改变,如减少工作时间、提升生产力。
- 通用人工智能(AGI):中共中央政治局会议首次提到 AGI,强调其重要性及对社会的影响,如经济、伦理和治理等。
关键信息
GPT 训练数据量对比
| 模型 | 维基百科 | 书籍 | 杂志期刊 | Common Crawl | 其他数据 | 总计 | |
|---|---|---|---|---|---|---|---|
| GPT-1 | - | 4.6 | - | - | - | - | 4.6 |
| GPT-2 | - | - | - | 40 | - | - | 40 |
| GPT-3 | 11.4 | 21 | 101 | 50 | 570 | - | 753 |
| The Pile v1 | 6 | 118 | 244 | 63 | 227 | 167 | 825 |
| Megatron-11B | 11.4 | 4.6 | - | 38 | 107 | - | 161 |
| MT-NLG | 6.4 | 118 | 77 | 63 | 983 | 127 | 1374 |
| Gopher | 12.5 | 2100 | 164.4 | - | 3450 | 4823 | 10550 |
DeepSeek 与 GPT 等模型对比
| 对比维度 | GPT-3 | DeepSeek-V3 |
|---|---|---|
| 发布时间 | 2020年6月 | 2024年12月 |
| 训练数据量 | 3000亿token | 14.8万亿token |
| 参数量 | 175B(密集架构) | 671B(MoE架构) |
| 训练成本 | $12M | $5.57M |
| 激活参数量 | 175B(全激活) | 37B(5.5%激活率) |
| 主要数据类型 | 通用互联网文本(含代码/数学) | 强化代码/数学的高质量数据 |
DeepSeek 的贡献方向
| 类别 | 贡献方向 | 具体技术/成果 |
|---|---|---|
| 训练成本 | 硬件成本、算力利用率、流程周期 | MoE架构、FP8混合精度训练、DualPipe优化 |
| 算力利用率 | 跨节点MoE通信优化、自适应计算分配 | 提升GPU利用率 |
| 流程周期 | 强化学习直接用于基础模型、知识蒸馏 | 缩短后训练周期,加速迭代 |
| 算法架构 | 多令牌预测、FP8混合精度框架 | 首次验证超大规模模型可行性 |
| 突现能力 | 数学推理、自我验证、代码生成 | 接近GPT-4水平,超越GPT-4-Turbo |
| 模型压缩 | 知识蒸馏、MLA机制、动态稀疏注意力 | 压缩KV缓存93.3%,降低计算复杂度 |
人机协作与社会影响
- 新工作机会:AI 的发展将带来新的工作机会,特别是技能提升相关的岗位。
- 工作时间减少:预计未来几年内,AI 将减少每个工人的日均工作时间。
- 应用场景:AI 在教育、医疗、金融、交通等领域有广泛应用,推动社会智能化发展。
AI 工具与市场增长
- AI 工具增长:2025 年,全球已有 23915 个 AI 工具,其中 2024 年新增 13795 个。
- 头部应用:如百度、微信、支付宝等已集成 DeepSeek 模型,提升智能化水平。
- 企业级应用:南方电网、华为云、中国移动等企业已部署 DeepSeek 模型,优化业务流程。
AI 发展路径与提示词工程
- 优化路径:微调、检索增强生成(RAG)、提示词工程是提升 AI 模型性能的主要方式。
- 提示词工程:DeepSeek 提供更灵活的提示词支持,简化使用流程,提升输出质量。
结论
DeepSeek 在大模型领域具有重要贡献,特别是在训练成本、算法架构、模型压缩和推理能力方面。其开源策略推动了 AI 技术的普及,促进了人机协作的发展。随着 AI 技术的不断进步,未来将更加注重提示词工程的精准表达和 AI 在各领域的深度应用。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载