人工智能安全白皮书2020_80页_5mb

人工智能安全白皮书（2020）总结

核心内容概述

本白皮书由浙江大学-蚂蚁集团金融科技研究中心发布，重点探讨了人工智能（AI）技术在模型、数据与承载系统层面面临的安全威胁，并提出了相应的防御技术与一站式安全解决方案。白皮书强调AI技术在推动社会智能化的同时，也带来了严重安全风险，如模型功能破坏、数据泄露、系统安全漏洞等，亟需系统性安全防护机制。

主要观点

• AI技术的安全性问题涵盖模型、数据和承载系统三个层面，分别称为AI模型安全、AI数据安全与AI承载系统安全。
• AI模型的安全威胁主要包括：训练完整性威胁、测试完整性威胁、鲁棒性缺乏以及模型偏见威胁。
• AI数据安全问题主要体现在数据泄露与隐私信息暴露，攻击者可通过模型输出或梯度信息窃取数据。
• AI承载系统安全问题则涉及软件框架漏洞与硬件设备被入侵等，与传统计算机安全威胁相似。

关键信息

AI模型安全性问题

1. 模型训练完整性威胁

• 数据投毒攻击：攻击者通过在训练数据中注入毒化数据，影响模型的训练过程，使模型对特定数据产生错误预测。
  • 目标固定攻击：攻击者在训练数据中注入毒化数据，使模型对特定样本输出指定结果，同时不影响正常测试集的准确率。
  • 后门攻击：攻击者在模型中植入特定触发器，使模型在触发条件下输出指定结果，分为常规后门攻击与隐蔽后门攻击。
    • 标签不变攻击：攻击者通过优化毒化数据，使其在特征空间中与目标样本接近，从而实现隐蔽攻击。
    • 联邦学习场景下的后门攻击：攻击者通过恶意用户提交模型增量，影响全局模型的训练过程。

2. 测试完整性威胁

• 对抗攻击：攻击者通过在输入样本中添加微小扰动，使模型输出错误结果。分为基于扰动的对抗攻击与非限制对抗攻击。
  • 白盒攻击：攻击者知道模型结构和参数，使用如FGSM、BIM、PGD、C&W等算法生成对抗样本。
  • 黑盒攻击：攻击者不了解模型结构，但可以通过查询样本近似计算梯度，如使用零阶优化方法。
• 伪造攻击：攻击者向生物识别系统提交伪造信息以通过身份验证，如在声纹识别系统中播放伪造音频。

3. 模型鲁棒性缺乏

• AI模型在面对现实环境变化时，如光照、角度、分辨率等，可能出现不稳定或错误预测。
• 鲁棒性不足可能导致模型在复杂场景中无法保持准确性和稳定性，增加安全风险。

4. 模型偏见威胁

• AI模型可能因训练数据的偏差而产生偏见，如性别歧视、种族歧视、金融偏见等。
• 偏见来源包括心理偏见（如夏彭特错觉）、歧视性偏见（如对某些群体的偏见）和统计偏见（如数据分布不均衡）。
• 偏见可能影响AI模型的公平性与可靠性，导致对特定对象的不公平分类或决策。

AI数据与隐私安全性问题

1. 基于模型输出的数据泄露

• 攻击者可通过模型输出结果或梯度信息，窃取训练/测试数据或模型参数。
• 模型窃取攻击：攻击者通过查询黑盒模型，构建替代模型以窃取其结构和参数。
  • Equation-solving Attack：适用于传统模型，如SVM，通过公式求解获取参数。
  • 基于替代模型的模型窃取：攻击者通过构建替代模型，拟合目标模型的功能。

2. 基于梯度更新的数据泄露

• 在分布式训练中，攻击者可通过模型参数的梯度信息，推测原始训练数据。
• 隐私推断与数据生成是主要的攻击方式。

AI系统安全性问题

• AI承载系统面临与传统计算机系统相似的安全威胁，如软件框架漏洞、硬件设备被入侵等。
• 系统安全问题可能导致数据泄露、信息篡改、服务拒绝等。

主要防御技术

1. AI模型自身安全性增强

• 输入预处理防御：如JPEG压缩、滤波、模糊处理等，降低对抗样本的影响。
• 对抗训练：通过引入对抗样本进行训练，提升模型对扰动的鲁棒性。
• 可解释性增强：提升模型的透明度，便于分析与验证模型行为。
• 鲁棒性增强：优化模型结构，使其在复杂场景中保持稳定输出。

2. AI数据安全与隐私泄漏防御

• 模型结构防御：通过调整模型结构，降低过拟合程度，防止隐私信息泄露。
• 信息混淆防御：在模型输出中引入混淆机制，防止攻击者恢复原始数据。
• 查询控制防御：控制模型的查询频率与范围，防止隐私数据被窃取。

3. AI系统安全性防御

• 通过强化系统架构、提升软件与硬件的安全防护，防止外部攻击。

一站式安全解决方案

• 本白皮书提出多维对抗与AI SDL（Security Development Lifecycle）的结合，以实现AI应用系统的全面安全。
• 多维异常检测：通过检测输入、输出、模型行为等多维度异常，提升AI系统的安全性。
• AI SDL：包括模型评测与加固、业务评审与风险治理，从设计到部署的全生命周期保障AI系统的安全。

总结与展望

• AI技术的安全问题日益严重，需从技术与法律两个层面进行防护。
• 现有防御技术虽能缓解部分威胁，但会带来性能损失，因此需要更高效的防御方案。
• 未来AI安全研究应关注新型攻击手段的防御机制，并结合法律法规，实现AI系统的合规与安全。