> **来源：[研报客](https://pc.yanbaoke.cn)** # AI 幻觉深度研究报告总结 ## 核心内容概览 本报告深入探讨了生成式AI在实际应用中所面临的幻觉风险，以及如何通过制度性治理和工程技术手段进行有效管理。报告指出，幻觉问题已从模型层面扩展到组织、用户信任与安全控制层面，成为影响业务执行链的重要系统性风险。 ## 主要观点 - **幻觉是系统性风险**：幻觉不仅限于模型偶尔出错，而是贯穿“生成—采信—执行”链条，对组织产生深远影响。 - **品牌效应放大风险**：高可信品牌的AI系统，如GOV.UK Chat，由于用户对其信任度高，容易低估系统失真风险，形成过度信任。 - **治理需复合机制**：有效的幻觉治理方案应包含检索锚定、拒答机制、人工复核、日志监测与责任制度，形成治理栈。 - **幻觉不可彻底消灭**：NIST将幻觉定义为confabulation，强调其来自统计生成机制，而非个别错误。组织应聚焦于“可识别、可约束、可追责、可持续优化”。 - **场景化评估至关重要**：基准分数不能替代场景化评估，需结合后果严重度、可发现性和业务语境进行综合考量。 - **高风险场景需更强护栏**：在医疗、公共服务等高风险场景中，幻觉治理需更加严格，防止错误进入执行流程。 - **治理需同步发展**：随着AI采用加速，治理能力必须同步提升，涉及采购、合规、培训、上线审批与内控协同等多方面。 ## 关键信息 ### 幻觉类型 | 类型 | 描述 | |------|------| | 事实性幻觉 | 模型直接生成不存在或错误的事实、数据、事件或对象 | | 引用性幻觉 | 伪造、错配或误引法规、判例、论文等来源 | | 语境性幻觉 | 对上下文理解偏差，断章取义 | | 逻辑性幻觉 | 推理过程错误，因果关系混乱 | | 行动性幻觉 | 错误执行指令，产生有害或无效动作 | | 遗漏性幻觉 | 关键信息缺失，未提及重要内容 | ### 幻觉根因机制 1. **统计生成机制**：模型根据分布生成最可能的文本，而非连接外部真值。 2. **知识边界与专业断层**：通用模型在处理专业语境问题时存在局限。 3. **提示不充分**：系统默认回答，而非明确拒答逻辑。 4. **组织对速度与完整感的偏好**：偏好流畅输出，忽视可验证性。 5. **检索—生成错配**：检索器和生成器之间的不匹配导致错误生成。 ### 治理建议 - **复合治理栈**：包括检索锚定、拒答机制、人工复核、日志监测与责任制度。 - **场景化评估**：需考虑后果严重度、可发现性和业务语境。 - **持续风险测量**：建立外部独立评估、红队测试与标准化测量协议。 - **前置护栏**：在问题端进行澄清、引导式交互等，以减少幻觉放大。 - **制度级成熟度**：在高风险行业，如医疗，幻觉治理需具备制度级成熟度。 ## 真实世界案例 - **GOV.UK Chat**：用户满意度高，但存在幻觉案例，说明高可信品牌需更强护栏。 - **联邦机构用例增长**：2024年联邦机构生成式AI用例增长约9倍，显示采用速度加快，但治理能力未同步。 - **MHRA测试结果**：RAG技术可显著降低重大幻觉，但可能提高遗漏率。 - **FDA监管**：AI已进入规模化医疗监管阶段，幻觉治理需具备制度级成熟度。 ## 结论 - 幻觉治理不能仅依赖技术手段，还需制度保障与用户教育。 - 组织应避免将“试一试”的工具直接推入正式流程。 - 治理需结合业务场景，考虑不同风险等级下的不同策略。