计算机行业专题研究：“安卓版”大模型助推，算力和应用的黄金时代_13页_1mb

计算机行业分析总结

核心内容

随着开源生态的持续发展，大模型的训练和应用门槛不断降低，推动了算力和应用的黄金时代到来。强化学习（RLHF）和指令微调技术的开源，使得企业能够更高效地构建和优化大语言模型。

主要观点

• RLHF技术的普及：微软开源了DeepSpeed Chat，支持RLHF训练，使得训练速度提升15倍以上，成本降低，支持大规模模型训练。
• Self-Instruct技术：通过自动生成指令微调数据集，大幅降低了人工标注的成本，同时显著提升了模型性能，如Alpaca和Vicuna等模型均采用此技术。
• 开源模型生态的发展：LLaMA系列和Dolly2.0等开源模型的出现，降低了构建大模型的难度，使得企业能够基于这些模型进行定制化开发。
• LLaMA2的发布：LLaMA2在参数量、训练数据量、性能和安全性上都有显著提升，且可用于商业用途，进一步加速大模型生态的发展。

关键信息

1. 新训练框架与训练数据获取手段不断涌现，开源生态助力 RLHF 训练门槛降低

• RLHF的重要性：RLHF是ChatGPT类模型的重要组成部分，能够提高模型对用户意图的遵循度，减少有害输出。
• DeepSpeed-Chat的功能：
  • 简化训练和推理体验，支持端到端训练。
  • 提供DeepSpeed-RLHF模块，支持SFT、RM和RLHF三个步骤。
  • DeepSpeed-RLHF系统整合训练与推理能力，支持多参数模型训练，如130亿参数模型可在1.25小时内完成训练。
• Self-Instruct技术：
  • 自动生成指令微调数据集，降低人工成本。
  • 在GPT-3上应用后，性能提升33.1%，接近InstructGPT_001。
  • 支持模型在不同场景下的微调，如Alpaca、Vicuna等模型均采用此技术。

2. 开源模型生态蓬勃发展，未来有望对抗闭源模型生态

• Dolly2.0：
  • 基于EleutherAI的120亿参数模型，使用Databricks-dolly-15k数据集微调。
  • 可用于研究和商业，训练成本低，仅需不到30美元。
• LLaMA系列：
  • 提供70亿、130亿、330亿和650亿参数版本，性能优越且运行成本低。
  • 在多个基准测试中表现优异，如Natural Questions、MMLU等。
  • LLaMA2训练数据量增加40%以上，性能提升，支持商用。

3. 大模型应用百花齐放局面或将加速到来，应用层与算力层爆发有望超预期

• 企业应用需求：企业需要解决内容可信、数据安全和成本控制问题，开源模型与行业数据结合可有效解决这些问题。
• 华为模型分级体系：L0（基础模型）、L1（行业模型）、L2（细分场景模型），这可能是国内大模型发展的未来格局。
• 算力与应用的正循环：随着开源模型和强化学习工具的普及，算力需求和应用层发展将形成正循环，加速国内大模型产业的爆发。

投资建议

• 算力层：关注海光信息、寒武纪、景嘉微（与电子组联合覆盖）、四川长虹、神州数码。
• 应用层：
  • 2C应用：金山办公、科大讯飞、万兴科技、光云科技、福昕软件。
  • 2B应用：泛微网络、金蝶国际、致远互联、汉得信息、鼎捷软件、用友网络、恒生电子、新致软件。

风险提示

1. 开源生态与技术发展速度不及预期。
2. 垂直行业大模型打造速度不及预期。
3. 终端应用场景拓展速度不及预期。

图表目录（关键信息）

• 图1：InstructGPT论文中基于人类反馈的强化学习的步骤。
• 图2：DeepspeedChat为RLHF的训练降低了门槛和成本。
• 图3：Self-instruct框架的数据集生成过程。
• 图4：Self-instruct方法产生的数据集在微调时产生了较好的效果。
• 图5：训练损失随着tokens增大后持续下降。
• 图6：预训练数据集的来源。
• 图7：LLaMA在NaturalQuestions测试集表现优异。
• 图8：LLaMA在阅读理解上表现优异。
• 图9：LLaMA在常识推理任务下的0-shot表现优异。
• 图10：LLaMA在MMLU上表现优异，130亿参数版本性能超过GPT-3。
• 图11：LLaMA2与LLaMA1对比，参数规模提升，训练Tokens增加。
• 图12：LLaMA2-Chat由LLaMA2微调得到，采用SFT和RLHF。
• 图13：LLaMA2-Chat模型安全性高于ChatGPT-3.5-0301。
• 图14：LLaMA2总体性能优于主流开源大模型。
• 图15：LLaMA2与主流闭源大模型性能对比，接近GPT-3.5。
• 图16：LLaMA2与其他闭源开源大模型对比，70亿参数模型胜率高于GPT-3.5-0301。
• 图17：LLaMA2 70亿参数模型在有用性和安全性方面优于ChatGPT-3.5-0301。
• 图18：华为提出的L0-L1-L2大模型分级体系。

表格目录（关键信息）

• 表1：基于LLaMA构建的部分大语言模型情况一览。
• 表2：LLaMA1与LLaMA2参数、训练数据与性能对比。
• 表3：LLaMA2与主流闭源大模型性能对比。