中国信通院-人工智能安全框架-2020年-_68页_4mb

CAICT 人工智能安全框架（2020年）总结

核心内容

《人工智能安全框架（2020年）》由中国信息通信研究院安全研究所牵头，联合瑞莱智慧、百度、腾讯、360、中科院信工所共同编写，旨在构建人工智能安全技术体系，指导企业提升人工智能安全能力，部署安全技术措施，为人工智能产业健康发展提供保障。

主要观点

1. 人工智能安全挑战日益突出

   • 随着人工智能“基建化”、“协同性”、“内嵌化”发展，其面临的安全风险不断升级，包括算法后门、对抗样本、数据投毒、模型窃取等。
   • 安全风险从数字世界向物理世界和人类社会蔓延，可能威胁环境安全、人身财产安全以及国家社会安全。

2. 人工智能安全框架构建必要性

   • 当前人工智能安全框架缺失，企业安全投入不足，安全技术多处于研究阶段，尚未形成成熟的产品和服务体系。
   • 人工智能安全框架应具备实用性、整体性和前瞻性，为企业提供可操作的指导建议和安全能力演进路径。

3. 人工智能安全框架内容

   • 框架包含安全目标、安全能力、安全技术和安全管理四个维度。
   • 安全目标涵盖应用合法合规、功能可靠可控、数据安全可信、决策公平公正、行为可以解释、事件可以追溯。
   • 安全能力分为架构安全、被动防御、主动防御、威胁情报和反制进攻五个级别，形成递进式安全能力体系。
   • 安全技术聚焦于业务、算法、数据和平台四大核心组件，涵盖安全攻击检测、模型鲁棒性增强、数据隐私计算、平台漏洞修复等。
   • 安全管理涉及国家法律法规、行业政策、伦理规范、技术标准等，强调企业在组织、制度和人员层面的落实。

关键信息

一、人工智能安全现状

• 安全挑战：人工智能基础设施、设计研发和应用行为均面临安全风险，包括算法后门、对抗样本、数据投毒、模型窃取等。
• 风险地图：涵盖人工智能系统从初始、设计研发、检验验证、部署、运行监控、持续验证、重新评估、废弃八个阶段的安全风险。
• 技术现状：人工智能安全技术取得局部突破，如对抗样本检测、联邦学习、差分隐私、深度伪造检测等，但尚未形成系统化的安全产品和服务体系。
• 创新成果：中国在人工智能安全领域取得多项创新成果，如360在机器学习开源框架安全漏洞挖掘修复、腾讯在算法后门攻击检测、微众银行在联邦学习平台建设等方面具有领先优势。

二、人工智能安全框架

• 设计思路：聚焦人工智能内生安全，涵盖安全目标、安全能力、安全技术和安全管理。
• 安全目标：
  1. 应用合法合规
  2. 功能可靠可控
  3. 数据安全可信
  4. 决策公平公正
  5. 行为可以解释
  6. 事件可以追溯
• 安全能力：
  1. 架构安全：指导企业建立安全思维。
  2. 被动防御：部署静态安全能力，如恶意行为发现、算法安全防护、数据安全防护。
  3. 主动防御：强化安全团队，实现动态、自适应、自生长的安全能力，如持续监测、事件分析、防御响应、威胁预测。
  4. 威胁情报：获取和使用安全威胁情报，提升防御能力。
  5. 反制进攻：建立对恶意攻击者的合法反制能力，如安全事件追溯和法律权益维护。
• 安全技术：
  • 业务安全：包括业务合规性评估、安全攻击检测、业务安全机制、恶意应用检测。
  • 算法安全：包括鲁棒性增强、公平性保障、可解释性提升、知识产权保护、安全评测。
  • 数据安全：包括隐私计算、追踪溯源、问题数据清洗、公平性增强、安全评测。
  • 平台安全：包括漏洞挖掘修复、模型文件校验、平台安全部署。
• 安全管理：
  • 国家层面：制定法律法规、伦理规范和技术标准。
  • 企业层面：建立安全组织架构、人员能力、制度流程等，落实国家安全管理要求。

三、人工智能安全技术实施

• 业务安全技术：包括合规性评估、攻击检测、安全机制、恶意应用检测。
• 算法安全技术：包括鲁棒性增强、公平性保障、可解释性提升、知识产权保护、安全评测。
• 数据安全技术：包括隐私计算、追踪溯源、问题数据清洗、公平性增强、安全评测。
• 平台安全技术：包括漏洞挖掘修复、模型文件校验、平台安全部署。

四、人工智能重点应用安全防护实践

1. 自动驾驶安全防护

   • 安全风险：包括传感器数据干扰和算法攻击。
   • 安全防护：构建多层次防御体系，包括计算环境安全、AI算法安全防御、AI业务安全防御。
   • 具体措施：采用高质量传感器、多源卫星接收机、V2X消息签名验证、多感知融合、关键运行数据记录等。

2. 智能信贷风控安全防护

   • 安全风险：数据泄漏、模型误判、算法偏见等。
   • 安全防护：通过加强数据安全、算法安全和业务安全，保障信贷模型的可靠性与安全性。

3. 深度伪造应用安全防护

   • 安全风险：深度伪造技术可能被用于伪造新闻、冒充身份等，引发社会安全风险。
   • 安全防护：通过深度伪造检测技术，如图像、视频、音频特征分析，保障内容真实性。

安全技术图谱

项目组基于ISO《人工智能系统生命周期过程》标准，描绘了人工智能安全技术图谱，涵盖人工智能系统全生命周期中的安全技术部署建议，如图6所示。图谱包括业务、算法、数据、平台四个维度，分别在初始、设计研发、检验验证、部署、运行监控、持续验证、重新评估等阶段提出相应的安全技术。

总结

《人工智能安全框架（2020年）》系统分析了人工智能面临的安全风险，构建了涵盖安全目标、安全能力、安全技术和安全管理的完整安全框架，为人工智能相关企业提供了提升安全能力的路径和部署安全技术的指南。该框架聚焦人工智能内生安全，强调从设计、开发、部署、运行、监控、验证、评估、废弃等全生命周期视角出发，提出多层次、多维度的安全防护体系，助力人工智能产业安全、可靠、可控发展。