20250630-中邮证券-金工专题报告_基于大模型外部评价体系框架介绍_26页_1mb

证券研究报告总结

发布信息

• 报告名称：金融工程报告：基于大模型外部评价体系框架介绍
• 发布时间：2025-06-30
• 分析师：肖承志（SAC：S1340524090001）
• 研究助理：冯昱文（SAC：S1340124100011）

报告核心内容

1. 大模型金融问答能力评价基准建设

• 目标：构建系统性评价大模型在金融专业问答领域的逻辑推理与专业知识应用能力。
• 题库构建：
  • 基于金融问答的九大核心类别（金融计算、经济学、财报分析等），共设188道多项选择题。
  • 每道题目附带可验证的推理链（思维链），用于考察模型逻辑推理能力。
  • 题目要求兼具客观性、答案唯一性与可验证性。

2. 实验设计与评测方式

• 实验模型：选取国产主流大模型（DeepSeek-R1/V3、混元、Qwen-max、GLM-4-plus、DouBAO-seed-1.6-thinking）。
• 评测场景：
  1. 基准场景（zero-shot）。
  2. 思维链提示（CoT）场景。
  3. 少样本提示（few-shot）场景。
  4. 思维链+样本提示组合场景。
• 核心评价指标：
  • 准确率（Accuracy）。
  • Pass@K（在K次尝试中至少有一次正确）。

3. 实验结果与结论

• 关键发现：
  1. 思维链提示（CoT）对模型准确率有显著提升（最高提高15%），表明高质量逻辑线索对复杂金融问题解决的重要性。
  2. 样本提示（few-shot）效果有限，尤其当提示样例不具代表性时。
  3. 大模型在处理概念相近、逻辑陷阱题时易犯错误，暴露出模型对近似概念的混淆问题。
  4. 国产大模型在金融问答领域的表现已有一定基础，但仍需提升复杂推理能力。
• 模型表现对比：
  • 基准场景：DeepSeek-R1与豆包seed-1.6-thinking表现优异。
  • 组合提示（思维链+样本提示）拉平了模型之间的差距，显示出高质量数据对提升模型能力的关键作用。

4. 风险提示与建议

• 风险：大模型回答存在幻觉和随机性，历史表现不代表未来性能。
• 建议：
  • 大模型在金融领域应用需谨慎，应结合人工分析和逻辑指引驾驭模型能力。
  • 重视高质量数据与推理线索在提升模型逻辑中的作用。

结语

报告强调了逻辑推理在金融大模型应用中的核心地位，并提出构建以推理能力为核心的评价基准，以推动大模型在金融领域的深度应用。