蚂蚁集团_中国信通院：大模型行业可信应用框架研究报告_55页_7mb

报告摘要

本报告由蚂蚁科技集团股份有限公司与中国信息通信研究院联合发布，聚焦大模型在金融、医疗、政务等专业领域的可信应用。报告旨在构建一套系统化、可落地的大模型可信应用框架，解决大模型在专业场景中面临的专业性、可控性、真实性和安全性等关键问题，推动大模型在产业中的规模化可信应用。

大模型加速落地激发应用可信需求
大模型已进入产业变阶段，其在金融、医疗、政务等场景中展现出广泛的应用潜力。然而，其在复杂、高容错率场景中的落地仍面临诸多挑战，亟需提升其可信程度。
人工智能可信内涵不断丰富
可信人工智能涵盖技术与伦理多个维度，包括准确性、安全性、公平性、透明性等。国际标准ISO/IEC 22989定义了可信人工智能的16项关键要素，包括责任性、隐私、质量、可解释性等。
专业领域大模型应用关注四大要素
- 专业性：模型需具备专业领域的知识和逻辑推理能力。
- 可控性：推理过程需透明可解释，输出结果需可追溯、可纠正。
- 真实性：模型需基于真实数据和逻辑进行内容生成，避免“幻觉”现象。
- 安全性：需保障数据安全、系统安全，符合行业法规和标准。
大模型可信应用技术框架及体系
报告提出了一套以“专业、可控、真实、安全”为核心的大模型可信应用框架，涵盖数据质量提升、模型专业增强、内容生成可控、智能体可信处理、新安全范式保障、反馈迭代机制和评测验证体系。

总体视图
报告提出了一个面向专业领域的大模型可信应用框架，涵盖数据供给、模型增强、内容生成、智能体协同、安全机制、反馈迭代和评测验证等多个模块。
技术实现
- 数据供给质量提升：分三类数据（通识通用数据、领域通用数据、领域专有数据）进行处理，确保数据的真实、准确和合规。
- 模型知识专业增强：通过知识工程、知识图谱构建、专家经验挖掘和专业数据注入，提升模型的专业能力。
- 内容生成可控可信：结合检索增强生成（RAG）、工具学习和围栏工具，提升内容生成的可信度和可控性。
- 智能体提升复杂任务处理可信：通过智能体的协同机制，实现任务分解、推理核验和结果表达的全过程控制。
- 新安全范式保障可信：提出OVTP（操作者-凭证-可追溯）和NbSP（不可越权）两种安全范式，保障大模型应用过程中的安全性和可控性。
- 反馈迭代提升体系：构建“反馈-迭代”机制，实现大模型在专业场景中的持续优化。

金融场景
- 应用挑战：信息量大、更新快，需处理冲突与噪声；需确保合规性与安全性。
- 实践方案：构建动态金融知识库，结合RAG技术、多智能体协同、专业评测数据集等。
- 应用成效：实现分钟级响应、多角度分析，提升投研效率。
医疗场景
- 应用挑战：需确保信息的准确性、专业性与合规性，兼顾患者情绪与服务体验。
- 实践方案：构建医疗知识图谱和知识库，结合RAG技术与SOP增强推理过程。
- 应用成效：已在浙江92家医院部署，服务点击量达1.3万次/日，提升诊断效率。
政务场景
- 应用挑战：涉及多主体协调、跨领域知识融合、事件动态性与系统性。
- 实践方案：构建多模态多源信息融合机制，结合智能体与知识库进行协同处理。
- 应用成效：实现工单智能分派、智能处置、智能催办等功能，提升基层治理效率。