量化研究系列报告之十一：ChatGPT与研报文本情绪的碰撞-20230814-华安证券-29页_1mb

报告摘要

ChatGPT与研报文本情绪的碰撞总结

核心内容

本报告探讨了ChatGPT在金融文本情绪分析中的应用，特别是在分析师点评标题的情感评分方面。通过对比传统情感分析模型（如BERT），验证了ChatGPT在金融文本情绪评分上的优越性和实用价值。报告还分析了基于ChatGPT评分构建的“GPT超预期”样本池在股票收益预测和因子构建方面的表现，并提出了GPT评分因子作为新型另类因子的潜力。

主要观点

ChatGPT在情感分析上的优势：
- ChatGPT能够提供连续的情感评分（1-10分），并且能精确识别积极、消极和中性情绪。
- 相较于BERT，ChatGPT在处理中文金融文本时，更能理解上下文和逻辑，对细微情感差异有更高的识别能力。
- ChatGPT在情感评分上表现出更高的准确性和连续性，与人类的直观感受高度一致。
“GPT超预期”与“文本超预期”的比较：
- “文本超预期”主要依赖关键词识别，如“超预期”、“略超预期”等，但存在“存伪”问题，可能包含非业绩相关的“超预期”表达。
- “GPT超预期”样本池数量更多，但整体收益表现优于“文本超预期”样本池。
- 在“超预期”样本池下，JOR因子表现更优，尤其是在近两年“超预期Beta”失效的情况下，GPT超预期样本池下的JOR因子表现显著增强。
GPT评分因子的表现：
- 基于ChatGPT评分构建的GPT评分因子，包括等权、指数衰减加权和GPT评分波动因子，具有一定的选股能力。
- 在中证500指数域中，GPT合成因子在2017-2023.06.30期间的RankIC为3.6%，多头年化超额为9.3%。
- 三年内，GPT合成因子的超额分别为7.04%、17.09%和2.96%。
GPT评分因子的构建与优化：
- 通过设置系统提示、优化模型参数（如Temperature设为0.5）以及批量请求方式，提高了模型的稳定性和效率。
- 批量请求方式将成本降低至约¥2635，耗时缩短至约15小时。

关键信息

ChatGPT的训练与能力：
- ChatGPT是基于GPT3.5架构的模型，具有强大的自然语言处理能力。
- 通过有监督学习和强化学习优化，使其更符合金融文本分析需求。
BERT的局限性：
- BERT虽然在NLP任务中表现优秀，但在处理中文分析师报告标题时，存在对细微情感识别不足、对上下文理解不够等问题。
- 即使使用中文训练的BERT模型，仍难以准确识别“超预期”表达。
样本池与因子测试：
- “盈余点评”样本池涵盖2016.01.01-2023.06.30期间的24万余条研报记录。
- “文本超预期”样本池约2万条，占样本池的8%；“GPT超预期”样本池约3万条，占样本池的13%。
- JOR因子在“GPT超预期”样本池中表现更优，尤其在delay60的样本空间下。
组合表现：
- “GPT超预期”组合的年化收益率和超额收益均优于“文本超预期”组合。
- 50等权组合的年化收益率为26.4%，信息比为2.5，夏普比率为1.04。
- 100等权组合的年化收益率为19.8%，信息比为2.3。