人工智能安全治理研究报告（2025年）_51页_3mb

人工智能安全治理研究报告总结

核心内容概述

本报告由中国信息通信研究院发布，旨在构建一套系统性、可落地、动态化的人工智能安全治理产业实践框架，以应对人工智能快速发展带来的安全挑战。报告提出“两横三纵”框架，强调管理与技术双线协同，以及从开发侧、部署侧、应用侧三方面构建全链条防护体系。

主要观点

1. 人工智能技术快速发展，在提升效率、推动创新的同时，也带来前所未有的安全风险。
2. 全球人工智能安全治理逐步迈向体系化与实操化，各国在监管政策、国际合作与产业实践方面均取得进展。
3. 人工智能安全治理需动态演进，需结合技术发展与应用场景，构建覆盖全生命周期的安全体系。
4. “两横三纵”实践框架为人工智能安全治理提供了系统性路径，有助于实现制度牵引与能力支撑的深度融合。
5. 产业协同治理机制仍需完善，需通过统一标准、信息共享、自律承诺等方式提升治理效能。

关键信息

一、人工智能安全治理概述

• 宏观规范要求正从原则性探讨转向具体实施，强调技术价值释放与风险防范。
• 技术应用风险呈现复杂化、隐蔽化、多样化趋势，需构建全生命周期的综合安全治理框架。
• 产业实践需求推动建立系统化、可评估的安全治理框架，实现技术与管理协同。

二、全球人工智能安全治理现状

• 国际合作层面：
  • 联合国设立“人工智能独立国际科学小组”和“人工智能治理全球对话”新机制。
  • OECD发布《人工智能事件共同报告框架》，推动全球治理行动。
  • 上海合作组织提出人工智能合作7大方向。
• 监管政策层面：
  • 欧盟推进《人工智能法》与《数字综合法案》，建立分级管理与动态合规机制。
  • 美国联邦与州政府推动灵活监管，NIST发布《人工智能测试、评估、验证与确认标准零草案大纲》。
  • 英国启动立法进程，推动灵活监管框架与安全测试平台。
  • 新加坡构建轻触式监管模式，通过评测验证推动治理落地。
• 产业实践层面：
  • 中国信息通信研究院发布《人工智能安全承诺》，22家企业签署，18家披露实践成果。
  • 头部企业如Anthropic、OpenAI、Google等推动测试评估与安全承诺。
  • 多国推动开源生态治理，建立测试工具包与评估体系。

三、人工智能产业安全治理核心挑战

• 技术发展扩大内生安全敞口：
  • 模型“黑盒”特性引发不可解释性与信任危机。
  • 创造力提升伴随幻觉率上升，需构建安全对齐与测试验证机制。
  • 模型“拒绝关闭”“欺骗与胁迫”等未知风险需关注。
• 应用延展引发衍生安全难题：
  • 应用形态迭代导致治理对象动态变化。
  • 开源生态带来技术滥用与误用风险。
  • 软件供应链存在未授权访问隐患。
• 组织管理体系构建面临新卡点：
  • 管理对象不确定性增加，需构建跨职能协作机制。
  • 企业现有管理体系难以适配人工智能安全治理需求。
• 多元共治协同机制尚待健全：
  • 安全基准测试体系尚未统一。
  • 信息共享机制缺失，行业共治能力不足。

四、人工智能安全治理通用实践框架

• 风险管理：
  • 构建闭环风险管理体系，覆盖全生命周期。
  • 企业需制定权责清晰的治理架构与持续追踪与审计机制。
• 模型研发：
  • 选型设计需明确安全基线，确保安全准入。
  • 数据治理需加强数据清洗与标注管理。
  • 安全对齐需采用监督微调、直接偏好优化、组相对策略优化等手段。
• 系统部署：
  • 强化云网安全、框架安全、代码安全与安全护栏。
  • 推动标准化部署流程与实时拦截机制。
• 应用运行：
  • 实现访问控制、标识水印、身份认证、合成检测、监测预警、业务评估。
• 产业生态：
  • 共建基准测试体系与协同治理机制。
  • 推动自律承诺、测试验证、信息共享，形成良性治理循环。

五、典型领域安全治理实践方案

• 金融行业：
  • 探索分类分级合规应用体系，构建安全护栏与算法修正机制。
  • 推动本地化部署，确保数据安全与隐私保护。
• 医疗行业：
  • 构建高质量医学数据集，提升模型输出准确性。
  • 引入检索增强生成（RAG），解决模型幻觉问题。
  • 强化伦理审查与行业标准制定。
• 交通行业：
  • 探索智能座舱与自动驾驶场景的安全测试。
  • 构建端到端安全测试体系，提升系统稳定性与安全性。
• 能源行业：
  • 加强数据安全与工业系统网络安全。
  • 推动“可解释AI+专家规则双校验”机制，提升模型可解释性与安全性。
• 通信行业：
  • 推动AI+数据安全智能管理。
  • 构建大小模型自主协同技术方案。
  • 推动检索增强生成与深度思考技术，实现安全知识赋能。
  • 建立覆盖全生命周期的安全技术体系。

六、展望

• 短期与中期，人工智能安全治理将朝多维度、深层次方向发展，形成全链条治理新格局。
• 内容真实性与技术透明度将成为治理重点，推动水印技术与可视化报告。
• 管理体系需探索PDCA循环模式，实现从“碎片化”到“系统化”。
• 产业层面，需搭建行业化安全评估测试体系，推动差异化治理标准。
• 远期展望，人工智能将超越工具范畴，可能具备自主适应与策略演化能力，需关注其颠覆性安全风险，推动全球协作与伦理边界划分。

附录：图目录

• 图1 人工智能安全治理产业实践框架
• 图2 人工智能安全治理“两横三纵”实践框架
• 图3 大模型安全基准测试框架（2.0）
• 图4 《人工智能安全承诺》披露网站

机构信息

• 中国信息通信研究院
• 地址：北京市海淀区花园北路52号
• 邮编：100191
• 电话：010-62309179
• 传真：010-62304980
• 网址：www.caict.ac.cn