2025年基于大模型的智能应用平台在券商典型场景的探索与实践报告_27页_8mb

长江证券“长江灵曦”大模型平台总结

1. 大模型应用开发背景

随着大模型技术的快速发展，其在金融行业的应用逐渐增多。然而，大模型应用开发过程中面临三大主要问题：成本高、模型多、业务繁。这些问题限制了大模型在实际业务中的快速部署与高效应用，促使长江证券构建了“长江灵曦”大模型平台，以解决上述挑战并提升智能化水平。

2. “长江灵曦”大模型平台

2.1 统一算力纳管平台

• 多源异构GPU纳管：通过扩展Kubernetes调度机制，实现对昇腾、寒武纪、英伟达等异构算力资源的统一管理和灵活调度。
• PD分离分布式推理：将Prefill与Decode阶段分离部署，优化KV Cache传输机制，提升推理性能，降低推理延迟达48%。
• 大模型路由管理：支持多种大模型的接入，如Qwen、DeepSeek、文心一言等，实现灵活的路由配置与服务调用。

2.2 大模型评估平台

• 提供模型能力评估体系，涵盖文本能力、多模态、理解能力、知识掌握、智能表现等维度。
• 支持模型与业务场景的匹配，包括通用推理、金融知识、金融文本生成、多模态交互、代码生成等。

2.3 大模型应用开发框架

• 采用工作流开发方式，提升应用开发效率，节省80%的时间。
• 提供Prompt Engineering可视化编排，节省25%时间。
• 实现应用日志与分析的实时处理，节省70%时间。
• 通过可视化工具快速集成新插件，节省50%时间。
• 已有400+员工参与智能体开发，完成1300多个智能体的构建。

3. “长江灵曦”应用场景

3.1 赋能投研

• 智搜图文：快速检索研报和路演观点，实时分析市场动向。
• 智写研报：从大量素材中提取核心内容，提升年报点评写作效率5倍以上，覆盖500+核心股票池。
• 智译纪要：支持文档内容解析与总结，提升信息处理效率。
• 智源对话：实现多模态交互，支持图表分析、K线识别等。

3.2 赋能办公

• 智能会议纪要：支持12000+音频文件分析，完成近8800场会议的自动纪要生成，提升会议效率。
• WPS插件“ai-to-ppt”：利用大模型生成PPT大纲与内容，根据公司模板生成完整PPT文件。

3.3 赋能营销

• AI营销服务：辅助1000多名销售人员，覆盖公募基金、理财产品、投顾服务和数据资讯，服务百万客户，节省60%的营销准备时间。
• 客户画像与产品推荐：基于大模型分析客户数据，实现个性化产品推荐与营销话术生成。

3.4 赋能知识检索

• 知识图谱构建：通过规章条款与衍生知识构建图谱，提升语义检索效果。
• COT诱导推理：结合文档结构解析与多模态大模型，实现结构化知识抽取与图谱存储。
• 智能问答：利用大模型快速生成相似问，辅助传统模型回答准确率从73%提升至90%，并支持快速定位答案原文。

4. 未来展望

4.1 投资智能体协同策略构建

• 多智能体协同策略：设计策略模型，实现智能体之间的协同工作。
• 代码实现与策略回测：支持智能体代码实现与策略回测，提升策略优化效率。
• 优化建议反馈：基于回测结果提出优化建议，实现策略迭代与优化。

4.2 报告自动生成

• 通过智能体实现报告的自动生成，提升业务自动化水平。

5. 总结

“长江灵曦”大模型平台通过统一算力纳管、模型评估、应用开发框架等核心技术，有效解决了大模型应用开发中的成本高、模型多、业务繁等问题，提升了大模型在证券行业的应用效率与质量。平台已广泛应用于投研、办公、营销和知识检索等场景，显著提高了业务处理效率与智能化水平。未来，平台将继续推动多智能体协同策略的构建与报告自动生成，进一步深化大模型在金融业务中的应用。