Alpha掘金系列之七：大模型微调指南，ChatGLM医药行业舆情精选策略-20230910-国金证券-23页_1mb

金融工程组 ChatGLM医药行业舆情精选策略——大模型微调指南总结

核心内容

本报告主要探讨了如何通过大语言模型的微调技术，特别是LoRA方法，提升ChatGLM2在医药行业舆情精选策略中的表现。通过引入高质量标签，如ChatGPT3.5的输出结果，使得ChatGLM2能够更准确地识别新闻文本中的情绪信号，并据此构建有效的投资策略。

主要观点

• 大语言模型微调的重要性：大语言模型虽具备强大的通用能力，但在金融投研领域仍需微调以提升专业性和准确性。
• PEFT方法的优势：LoRA等参数高效型微调方法能够在节省计算资源的同时保持较好的模型性能，适合实际投研场景。
• 标签选择的关键性：直接使用收益率作为标签效果不佳，而使用ChatGPT3.5输出作为标签显著提升了模型的预测能力。
• 模型性能提升：ChatGLM2-LoRA在微调后，样本内准确率达到0.96，样本外准确率也达到0.84，整体表现优于未微调模型。
• 策略表现：基于ChatGLM2-LoRA构建的医药行业舆情精选策略在不考虑手续费时年化超额收益率约为30.52%，在单边千分之二的手续费下仍保持12.17%的年化超额收益率。

关键信息

• 数据预处理：包括Tokenization、Padding、Truncation和Attention Mask，以确保模型输入格式的一致性。
• 训练与评估：通过设置合适的超参数，如Epoch、Learning Rate、Batch Size等，进行模型训练，并使用ROUGE-L等指标评估模型性能。
• LoRA原理：通过在原模型权重矩阵上添加低秩矩阵，仅训练部分参数，从而减少资源消耗，同时保持模型性能。
• 模型对比：ChatGLM2-LoRA在样本外表现优于ChatGLM2和FinBERT，且在策略构建中表现更优。
• 风险提示：模型基于上下文预测，不能保证回答准确性；超参数和微调方式影响效果；市场变化可能导致策略失效，需动态微调。

微调步骤概览

1. 定义任务并收集数据：确定需要微调的领域（如医药行业），收集相关文本数据。
2. 数据加载与预处理：将文本转换为模型支持的格式，进行padding、truncation和Attention Mask处理。
3. 模型选择与微调方式：选用LoRA微调方式，减少显存消耗，提升训练效率。
4. 训练与评估：设置合适的超参数，训练模型，并通过混淆矩阵、ROUGE-L等指标评估模型效果。
5. 构建投资策略：使用微调后的模型标签作为调仓信号，构建周度调仓策略，并评估其在不同手续费下的表现。

微调方法与效果

• 全量微调：资源消耗大，不适合一般机构和个人使用。
• PEFT方法：包括LoRA、P-Tuning、Prefix-Tuning等，其中LoRA在本报告中表现最佳。
• LoRA微调效果：样本内准确率0.96，样本外准确率0.84，F1-score均在0.80以上，显著优于未微调模型。

策略表现

• 年化超额收益率：在不考虑手续费时约为30.52%，在单边千分之二的手续费下仍保持12.17%。
• 策略稳定性：由于新闻覆盖度有限，策略换手率较高，通过换手率缓冲方式降低影响。
• 对比其他模型：ChatGLM2-LoRA在多个关键指标上表现优于ChatGLM2和FinBERT。

风险提示

1. 模型预测的不确定性：大语言模型基于上下文预测，不能保证回答的准确性，可能误导用户。
2. 过拟合风险：不同的微调方式和超参数选择可能导致模型在样本外表现不佳。
3. 市场变化风险：若市场出现超出模型预期的变化，策略可能失效，需动态调整模型。

附录

• 图表目录：包括模型输出效果对比、微调原理、混淆矩阵、策略净值表现等，帮助理解模型效果与策略表现。
• 免责声明：本报告为参考用途，不构成投资建议，使用前需核实，风险自担。

总结：通过LoRA微调ChatGLM2，结合高质量标签（如ChatGPT3.5输出），显著提升了模型在医药行业舆情精选策略中的表现，是一种在成本和数据隐私性之间取得平衡的有效方式。