2024-01-06-度小满金融-2023金融大模型技术创新与应用探索报告_46页_3mb

金融大模型技术创新与应用总结

从通用大模型到金融大模型

通用大模型展现出超预期能力，有望为金融行业创造价值增量，但在金融任务中面临挑战，如金融知识不足、幻觉问题和高成本。度小满开源了轩辕金融大模型，定位于金融行业专用模型，在C-Eval和CMMLU等榜单上表现优越，通过金融增强和训练技术创新，优于通用模型。

金融大模型的训练技术创新

• 金融增强: 通过增量预训练、指令微调和强化对齐，注入专业金融知识和能力。数据配比注重金融领域，提升模型在金融任务的表现，如考试和问答。
• 工程优化: 采用ZeRO并行、FlashAttention等技术，优化显存占用和计算效率，支持大规模分布式训练。
• 价值对齐: 使用强化学习和奖励模型（RM），对齐语言、安全和金融偏好，确保模型符合行业规范和安全要求。

金融大模型的评测方法创新

挑战现有评测榜单的可靠性，提倡“横评”与“纵评”并重，开发自研评测体系（如FinanceIQ），覆盖金融考试任务和用户反馈。强调数据清洗和真实场景评测，避免刷榜和数据污染。

金融大模型的应用实践创新

应用于八大领域：重塑营销、服务、运营、研发、办公和风控。通过个性化营销、智能客服、端到端运营等，提升效率和决策能力。代码自动生成覆盖率超40%，风控决策更智能，用户案例显示降本增效显著。