2020人工智能安全白皮书_80页_5mb

报告摘要

人工智能安全白皮书 (2020) 总结

核心内容

人工智能（AI）技术已成为国家战略的重要组成部分，其在多个领域如生物核身、自动驾驶、图像识别等得到广泛应用。然而，AI技术在快速发展的同时，也面临严重的安全与隐私威胁，包括模型安全性、数据隐私安全以及系统安全性问题。这些威胁可能对用户隐私造成泄露，并在实际应用场景中导致生命和财产损失。白皮书系统性地总结了AI安全技术的研究成果，并提出了AI应用的一站式安全解决方案。

主要观点

AI技术三要素：AI模型、AI数据、AI承载系统是AI技术发展的三大核心要素。
AI安全威胁分类：AI安全威胁可以分为三大类：模型安全、数据安全、系统安全。
AI安全属性：AI安全模型包括四个关键属性：保密性、完整性、鲁棒性、隐私性。
AI安全防御技术：防御技术覆盖AI应用的整个生命周期，包括模型训练、测试、部署等阶段。
AI安全解决方案：提出了多维对抗与AI安全开发生命周期（AI SDL）的一站式安全解决方案。

关键信息

1. AI技术面临的三大威胁域

3.1 AI模型安全性问题

模型训练完整性威胁：
- 数据投毒攻击：攻击者通过在训练数据中加入毒化数据，使模型在测试阶段输出错误结果。
  - 目标固定攻击：攻击者修改训练数据标签，使模型对特定样本输出指定类别。
  - 后门攻击：攻击者在模型中嵌入后门触发器，使模型在特定输入下输出错误结果。
    - 白盒后门攻击：攻击者完全了解模型结构和参数。
    - 黑盒后门攻击：攻击者仅获取训练数据，通过迁移学习方式实现攻击。
- 标签不变攻击：攻击者在不改变标签的情况下，通过优化特征空间实现攻击。
- 联邦学习中的模型投毒攻击：攻击者通过修改模型增量来影响全局模型，其优化目标包括放大攻击效果和保证模型性能。
模型测试完整性威胁：
- 对抗攻击：攻击者通过在输入样本中添加微小扰动（对抗样本）使模型输出错误预测。
  - 白盒攻击：攻击者了解模型结构，使用FGSM、BIM、PGD、C&W等算法进行优化。
  - 黑盒攻击：攻击者无法获取模型信息，通过迁移性攻击或查询方式近似梯度。
  - 非限制对抗攻击：攻击者不局限于微小扰动，通过生成对抗网络或对抗补丁等方式实现更广泛的攻击。
- 伪造攻击：攻击者通过伪造生物识别信息（如声纹、人脸）欺骗AI系统完成身份验证。
模型鲁棒性缺乏：
- AI模型在真实环境中的表现不稳定，对环境变化（如光照、角度）敏感。
- 模型结构复杂，缺乏可解释性，导致攻击者能够利用其不确定性进行恶意操作。
- 通过增加数据多样性、使用数据增强、引入Dropout层等方式可以缓解鲁棒性不足问题。
模型偏见威胁：
- AI模型可能继承训练数据中的偏见，如性别、种族歧视。
- 偏见可能来源于心理偏见、歧视性偏见或统计偏见。
- 通过增加数据多样性、调整模型结构等手段可减少偏见。

3.2 AI数据与隐私安全性问题

数据泄露风险：
- 攻击者可以利用模型输出结果、梯度信息等间接获取隐私数据。
- 模型窃取攻击：攻击者通过查询模型获取其结构和参数。
  - Equation-solving Attack：适用于传统模型，如SVM。
  - Meta-model Attack：通过训练替代模型预测目标模型属性。
  - 替代模型攻击：攻击者在不知道模型结构的情况下，通过大量查询构建替代模型，以拟合目标模型功能。
- 隐私推断攻击：攻击者通过分析模型梯度或输出信息，推测原始数据内容。
- 数据生成攻击：通过模型参数生成原始数据，造成数据泄露。