20230910-国金证券-Alpha掘金系列之七_大模型微调指南_ChatGLM医药行业舆情精选策略_23页_2mb

总结：

本报告研究了如何使用开源大语言模型 ChatGLM2 进行金融领域，特别是医药行业的量化投资辅助分析。研究发现虽然 ChatGPT 通用能力强大且在金融领域表现优于许多国产模型，但其 API 调用成本高且存在数据隐私问题。为解决这些问题，报告探讨了对预训练好的 ChatGLM2 模型进行参数高效微调 (PEFT)，特别是 LoRA 微调方式，以提升其在特定金融任务，尤其是医药行业文本分析方面的性能。

关键发现：

1. 标签选择的重要性： 直接以个股未来超额收益率作为标签进行微调效果极差，模型难以学习文本与收益率之间复杂的非线性关系。
2. 利用大模型输出作为标签： 选用 ChatGPT 3.5 的输出作为标签，因其质量较高且具有一定的预测性，标签效果显著优于直接收益率标签。该标签能引导 ChatGLM-LoRA 学习到相似的逻辑推理能力。
3. 微调效果： 对 ChatGLM2 进行 LoRA 微调后，其在医药行业新闻文本分类任务上的准确率显著提升至 90%以上，接近甚至在某些指标上优于 ChatGPT 3.5。同时，其预测（标签）与未来股价超额收益率的关联性明显增强。
4. 构建投资策略： 基于微调后 ChatGLM-LoRA 输出的三个情绪标签（积极、中性、消极），构建“医药行业周度舆情精选”量化策略。在测试期间，该策略在不考虑手续费情况下取得了约 30%的年化超额收益率，即使在2‰手续费率下，年化超额收益率仍有约 12%。
5. 与其他模型对比： 与未微调模型和 FinBERT 模型相比，ChatGLM2-LoRA 微调后的表现最优。
6. 主要优势： 通过使用 ChatGLM2 进行 LoRA 微调，可以在不牺牲太多模型性能的同时，显著降低成本，并部分解决数据隐私问题，使其成为一种极具潜力的、在控制成本和保障数据安全的前提下进行投研辅助的方案。

潜在局限性：

• 基于上下文预测的模型无法保证 100%回答准确性，可能出现误导。
• 模型生成可能包含冗余信息或负面情感词。
• 新闻覆盖个股范围有限，导致策略换手率高，需权衡成本与收益。
• 市场结构变化可能导致策略失效，标签质量与模型能力的瓶颈依然存在。
• 模型依赖于特定数据和假设，模型过拟合风险、参数选择和硬件资源消耗仍是关键考量因素。