人工智能安全框架（2020年）_68页_4mb

CAICT 人工智能安全框架（2020年）总结

核心内容

《人工智能安全框架（2020年）》由中国信息通信研究院安全研究所牵头，联合瑞莱智慧、百度、腾讯、360、中科院信工所共同编制。该框架旨在为人工智能相关企业提升安全能力、部署安全技术措施提供指导，以应对日益凸显的人工智能安全风险。

主要观点

• 人工智能正成为全球科技和产业变革的重要战略技术，其基础设施、设计研发及融合应用面临严峻安全挑战。
• 人工智能安全技术体系是安全治理的重要组成部分，涵盖安全目标、安全能力、安全技术和安全管理。
• 当前人工智能安全仍处于学术研究和少量试验试用阶段，尚未形成成熟的安全产品和服务体系。
• 人工智能安全框架应具备实用性、整体性和前瞻性，以指导企业构建安全防护体系。

关键信息

一、人工智能安全现状

1. 安全挑战

   • 人工智能“基建化”加速，基础设施面临安全风险，如算法后门、代码漏洞、数据泄露等。
   • 人工智能“协同性”增强，设计研发阶段面临技术脆弱性、新型攻击方式及非预期结果等风险。
   • 人工智能“内嵌化”加深，应用失控风险危害显著，涉及物理环境、人身财产、国家社会等多领域。

2. 风险地图

   • 人工智能系统全生命周期包括初始、设计研发、检验验证、部署、运行监控、持续验证、重新评估和废弃。
   • 每一阶段都有对应的安全风险，如非法应用、测试验证不充分、部署环境不可信、对抗样本攻击、模型反馈误导、销毁不彻底等。

3. 安全技术现状

   • 近年来人工智能安全领域论文数量迅速增长，对抗样本攻击和防御是最受关注的研究方向。
   • 数据投毒、模型可解释性、算法后门攻击和防御、联邦学习、差分隐私、深度伪造及检测等成为热点。
   • 人工智能安全技术已取得局部突破，部分技术已进入工业级应用阶段。

4. 安全框架缺失

   • 全球尚未提出统一的人工智能安全框架。
   • 现有网络安全框架不适用于人工智能应用。
   • 构建人工智能安全框架成为保障人工智能应用安全的迫切需求。

二、人工智能安全框架

1. 设计思路

   • 框架聚焦人工智能内生安全，涵盖基础设施、设计研发及应用行为失控风险。
   • 安全框架应为企业提供安全能力提升路径，指导其合理配置安全资源。

2. 设计原则

   • 实用性：提供可操作的安全防护建议。
   • 整体性：涵盖人工智能应用的全生命周期，提出全面且有针对性的安全建议。
   • 前瞻性：适应人工智能安全技术快速变化，兼容新的防御理论和技术。

3. 核心要素

   • 明确人工智能安全目标。
   • 构建人工智能安全能力模型，包括架构安全、被动防御、主动防御、威胁情报和反制进攻。
   • 部署安全技术措施和落实安全管理。

4. 安全框架结构

   • 包含安全目标、安全能力、安全技术和安全管理四个维度。
   • 安全目标包括应用合法合规、功能可靠可控、数据安全可信、决策公平公正、行为可以解释、事件可以追溯。
   • 安全能力分为五级：架构安全、被动防御、主动防御、威胁情报和反制进攻。
   • 安全技术包括业务安全、算法安全、数据安全、平台安全。
   • 安全管理涵盖国家和行业法律法规、伦理规范、技术标准等。

三、人工智能安全技术实施

1. 业务安全

   • 业务合规性评估：包括自评估和第三方评估。
   • 安全攻击检测：包括对抗样本检测、算法后门检测、业务安全机制、恶意应用检测。
   • 业务安全机制：包括访问控制、安全隔离、安全冗余、安全熔断、安全监控。

2. 算法安全

   • 算法鲁棒性增强：包括数据增强、鲁棒特征学习、模型随机化、模型正则化、训练数据采样。
   • 算法公平性保障：包括算法公平性约束、偏见歧视后处理。
   • 算法可解释性提升：包括模型自解释、算法全局解释、算法局部解释。
   • 算法知识产权保护：包括模型水印、溯源。
   • 算法安全评测：包括鲁棒性评测、公平性评测、可解释性评测。

3. 数据安全

   • 数据隐私计算：包括安全多方计算、同态加密、零知识证明、差分隐私。
   • 数据追踪溯源：包括数据安全标签、区块链追踪溯源。
   • 问题数据清洗：包括异常数据检测删除、问题数据重构、问题数据修复。
   • 数据公平性增强：包括数据分布修正。
   • 数据安全评测：包括数据合规性评测、数据泄露安全性评测。

4. 平台安全

   • 漏洞挖掘修复：包括代码审计、模糊测试、安全响应机制。
   • 模型文件校验：包括模型文件格式、大小、参数范围、网络拓扑、节点名称、数据维度等校验。
   • 框架平台安全部署：包括可信环境部署、沙箱运行、系统权限控制。

5. 安全技术图谱

   • 按照人工智能系统全生命周期，提出各阶段应部署的安全技术，包括业务、算法、数据和平台四个维度。

四、重点应用安全防护实践

1. 自动驾驶安全防护

   • 安全风险
     • 传感器数据干扰风险。
     • 算法攻击安全风险。
   • 安全防护
     • 计算环境安全：采用抗干扰传感器、多源卫星接收机、V2X消息签名验证。
     • AI算法安全防御：引入对抗样本、模型加密、访问限制、模型安全验证。
     • AI业务安全防御：降级预案、多感知融合、关键运行数据记录。

2. 智能信贷风控安全防护

   • 安全风险
     • 数据泄漏风险。
     • 模型风险。
   • 安全防护
     • 联合建模需防范数据泄露、模型风险等。
     • 需通过数据安全技术保障模型训练数据的安全性。

3. 深度伪造应用安全防护

   • 安全风险
     • 深度伪造技术被用于伪造新闻视频、攻击社会安全等。
   • 安全防护
     • 通过检测图像、视频、音频特征差异，识别伪造内容。
     • 利用人工智能安全平台进行深度伪造检测。

结构图示

• 图1：人工智能安全风险地图。
• 图2：人工智能安全领域论文发表趋势。
• 图3：人工智能安全热点技术方向论文发表情况。
• 图4：CVE收录典型机器学习开源框架平台安全漏洞数量。
• 图5：人工智能安全框架。
• 图6：人工智能安全技术图谱。
• 图7：自动驾驶安全风险。
• 图8：自动驾驶安全防护技术体系。

表格

• 表1：人工智能安全热点技术方向提出国家及中国创新成果。

结语

本蓝皮书聚焦人工智能安全风险，凝聚业界专家共识，构建人工智能安全框架，为企业提供提升人工智能安全能力的路径和指导，推动人工智能安全技术产品化和服务化。