2023-09-20-北京智源人工智能研究院-华为+AI大模型开源生态及大模型平台实践_41页_14mb

AI大模型开源生态及大模型平台实践总结

核心内容

本演讲由华为昇思MindSpore开源生态总监胡晓曼主讲，聚焦于AI大模型开源生态的发展洞察、华为AI大模型的全景架构以及大模型平台的技术实践。

主要观点

01 生态基石：AI大模型开源生态发展洞察分析

• AI大模型发展：AI技术正从感知理解世界向生成创造世界演进，LLM（大规模语言模型）的能力超出预期，成为技术演进方向。
• LLM能力涌现：当模型规模超过一定阈值时，LLM展现出强大的语言理解、意图识别和多轮对话记忆能力。
• LLM规模天花板：模型规模提升导致成本增加，当前模型性能提升趋于平缓，成为未来研究重点。
• RLHF的作用：通过人类反馈强化学习（Reinforcement Learning from Human Feedback）提升模型输出答案的有效性，使其更符合人类预期。
• ChatGPT成功要素：庞大的算力、高质量的垂直领域数据、可显性化的推理范式和基于人类反馈的迭代更新。

02 模型底座：华为AI大模型全景架构及应用案例

• 华为大模型方案：提供全栈软硬件能力，使能大模型的开发、训练、微调和部署。
• MindSpore框架：支持NLP、CV、多模态、AIGC等，具备动态图和静态图统一能力，提升开发效率和执行性能。
• MindFormers：提供预训练模型和下游任务支持，如文本生成、图像分类、问答等。
• MindDiffusion：支持图像修复、拓展、编辑等任务。
• MindRec：支持TB级推荐模型和Ascend异构平台的hash table。
• 微调组件：包括LoRA、BitFit、Adapter等算法，显著降低内存占用并提升训练效率。
• 部署组件：支持高性能推理，包括千亿参数单卡推理、分布式推理、模型压缩等，实现模型小型化部署。
• MindSpore Lite：具备自动并行、图优化、多语言接口等特性，适用于边缘设备。
• AI+HPC融合：通过融合计算框架支持科学计算，如流体仿真、电磁仿真、分子模拟等。

关键信息

大模型训练与推理挑战

• 训练挑战：模型规模大、训练数据量大、训练成本高（如GPT-3训练成本高达1200万美元）。
• 推理挑战：需高并发、低时延、支持多模态输入输出。
• 算力需求：训练阶段需大量GPU（如A100、V100等），推理阶段则需优化资源分配。

大模型平台技术架构

• 平台架构：支持分布式并行、异构计算、内存优化、模型压缩、多副本并行等。
• 技术能力：具备多维混合并行、多级存储优化、自动寻优、流水线并行、MoE并行等。

ChatGPT商业化挑战

• 算力集群：需构建高性能、高稳定性的算力集群，支持大模型训练和推理。
• 数据服务：高质量数据是大模型性能提升的关键，需持续投入。
• 技术融合：需结合AI与HPC技术，实现大模型与行业应用的融合。

华为AI生态发展

• 开源生态：MindSpore已拥有1.3万+贡献者，30+Sig组，覆盖金融、医疗、制造、数字政府等领域。
• 技术生态：已发布紫东太初、鹏程神农等10个创新大模型，支持多领域SOTA模型。
• 行业应用：支持推荐、图像处理、语音识别等，提升行业应用效率。

技术趋势与挑战

AI框架发展趋势

• 大模型支持：主流AI框架如PyTorch、TensorFlow、MindSpore等，均在布局大模型技术。
• 动静图融合：提升模型的执行效率和部署灵活性。
• 易用性提升：API接口覆盖全面，文档和工具完善，降低开发门槛。

技术挑战

• 模型容量与成本：模型参数持续提升，但成本显著增加，需探索更高效的训练方法。
• 数据多样性：高质量数据的获取和处理是大模型性能提升的关键。
• 技术融合：AI与HPC的融合、模型与业务的结合，是大模型产业落地的重要方向。

未来展望

• 开源生态：持续推动大模型研究与创新，构建完善的开发者社区。
• 产业落地：通过与高校、科研机构、企业的合作，推动大模型在各领域的应用。
• 技术优化：提升模型性能、降低计算成本、增强易用性，实现大模型的全流程技术闭环。