2025DeepSeek行业大模型算力网加速应用生态白皮书_49页_11mb
报告摘要
DeepSeek 行业大模型算力网加速解决方案白皮书总结
编写与鸣谢
- 主要编写单位:紫金山实验室、江苏省未来网络集团
- 编写人员:侯聪、张晨、张玉军等
- 特别鸣谢:苏交科集团、笑领科技、贵州师范大学等
背景与挑战
大模型分为“通用大模型”与“行业大模型”。DeepSeek 提供了免费开源的大模型,解决了模型成本问题,但仍需解决数据流通不畅、算力使用不便和部署成本问题。
现有方案:云部署价格低廉但数据安全受限,一体机部署可本地化使用但成本高、性能僵化、更新困难。
算力网加速方案
- 定位:通过算力网实现边云一体化,提供动态调度、安全流转和按需资源供给,目标是“即开即用、精准计量”。
- 架构:
- 功能模块:用户管理、算力阀(本地资源调度)、算力表(计费监控)、运维管理、安全管理。
- 组网方式:企业本地网关与云端算力通过广域网络连接,支持四种接入形态(纯软件、轻量硬件、标准硬件、一体机集成)。
- 部署方案:支持四种推理应用和四种微调应用的本地与云端结合部署方式。
核心能力
- 极简接入:通过业务需求图谱实现资源自动匹配,管理员可选择自动或手动配置模式。
- 柔性访问:通过负载均衡与弹性伸缩,云边资源协同响应业务需求。
- 安全流转:采用可信数据空间、数字智能合约技术,保障跨域数据隐私与合规性。
- 可观可感:任务运行状态实时监控,提供可视化看板和性能指标分析。
资源测评
- 测评使用 DeepSeek 32B、70B 模型与英伟达 GPU(如 H20)、国产芯片(如天数智芯)对比性能。
- 测评结果显示:H20 效率最高,国产芯片表现需优化 vLLM 支持。
- 关键指标:吞吐量、时延(TTFT/TPOT)。
典型场景
- 交通规划:本地计算压力大时,云边协同降低报告生成耗时。
- 医疗问答:利用算力网提升医疗模型推理效率,降低成本。
- 口腔医疗微调:通过云端算力支持本地模型微调,提升准确率。
- 基因检测:加速基因组测序与比对,满足高校科研场景需求。
- 政务推理:利用算力网解决政务数据高并发访问难题。
总结
该方案通过算力网实现高效、安全、弹性的大模型云边协同,解决了企业应用 DeepSeek 的“数据安不安全、算力快不快、模型能不能更新”三大痛点。同时,为东数西算与全国一体化算力网提供实践路径,助力企业快速部署专属行业模型。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载