计算机行业专题研究:“安卓版”大模型助推,算力和应用的黄金时代_13页_2mb
报告摘要
大模型开源生态发展总结
1. 引言
报告聚焦于开源生态对大模型领域的推动,强调Human反馈的强化学习(RLHF)等技术降低了训练门槛,预示算力和应用的黄金时代。
2. RLHF训练门槛降低
- Deepspeed-Chat开源:提供高效RLHF训练,比现有系统快15倍以上,支持大模型在单GPU上运行,成本大幅下降。
- Self-Instruct方法:自动化生成指令微调数据集,减少人工标注成本,显著提升模型性能,如Alpaca等开源模型通过该技术降低成本。
3. 开源模型生态蓬勃发展
- Dolly20:首个真正开放商用的大语言模型,训练成本低(不足30美元),基于pythia模型fine-tune,无API依赖。
- LLaMA系列:Meta开源的高性能模型,参数范围从70亿到650亿,运行成本低,在多个任务上表现优,开源基础模型推动生态竞争。
- LLaMA2升级:训练数据量提升40%,性能增强并支持商用,安全性优于ChatGPT,性能接近GPT-3.5,加速“安卓版”大模型时代。
4. 应用层与算力层爆发
- 企业应用:通过开源大模型与行业数据结合打造垂直模型,解决内容可信、数据安全和成本问题,形成L0-L1-L2分级模型体系。
- 算力层需求:模型训练和推理对算力要求增加,形成企业正循环,支撑应用场景拓展。
5. 投资建议
- 关注算力层企业:海光信息、寒武纪、景嘉微、四川长虹、神州数码。
- 关注应用层企业:泛微网络、金蝶国际、用友网络、恒生电子等。
6. 风险提示
- 开源技术进展不及预期。
- 垂直行业大模型部署速度慢。
- 终端应用场景拓展不达预期。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载