中国信通院-人工智能安全框架-2020.12-68页_4mb

报告摘要

人工智能安全框架（2020年）总结

核心内容

《人工智能安全框架（2020年）》由中国信息通信研究院安全研究所牵头编写，联合瑞莱智慧、百度、腾讯、360、中科院信工所共同完成。该蓝皮书旨在构建人工智能安全技术体系，为人工智能相关企业提升安全能力、部署安全技术措施提供指导。

人工智能作为战略性技术，正推动全球科技与产业变革，但其规模化应用也带来了基础设施、设计研发、融合应用等领域的安全风险。主要安全挑战包括：

基础设施安全：如机器学习开源框架平台、预训练模型库、数据集等存在安全漏洞和数据泄露风险。
设计研发安全：算法技术脆弱性、新型安全攻击（如对抗样本、模型窃取、数据投毒等）以及设计实施失误引发的非预期行为。
应用失控安全：人工智能深度嵌入社会和物理世界，可能对环境、人身、社会安全造成威胁。

主要观点

人工智能安全治理需多方协作：包括法律法规、伦理规范、技术标准、安全技术和管理体系等。
人工智能安全框架的必要性：由于现有网络安全框架难以适用于人工智能的特殊安全风险，亟需构建专门的人工智能安全框架。
人工智能安全能力分级模型：参考网络安全滑动标尺，提出架构安全、被动防御、主动防御、威胁情报、反制进攻五个级别，构建逐步演进的安全能力体系。
人工智能安全技术覆盖全面：包括业务安全、算法安全、数据安全和平台安全四大领域，涵盖安全评测、攻击检测、模型防护、数据隐私计算等技术手段。
人工智能重点应用安全防护：如自动驾驶、智能信贷风控、深度伪造等领域的安全防护实践为其他行业提供了可借鉴的经验。

关键信息

一、人工智能安全框架

安全目标：涵盖应用合法合规、功能可靠可控、数据安全可信、决策公平公正、行为可以解释、事件可以追溯六个方面。
安全能力：分为架构安全、被动防御、主动防御、威胁情报、反制进攻五个级别，逐步提升安全能力。
安全技术：包括业务安全技术、算法安全技术、数据安全技术、平台安全技术。
安全管理：从国家和行业层面出发，提出安全组织、人员能力、制度流程等方面的要求。

二、人工智能安全技术实施

1. 业务安全

业务合规性评估：包括自评估与第三方评估。
安全攻击检测：如对抗样本检测、算法后门检测等。
业务安全机制：包括访问控制、安全隔离、安全冗余、安全熔断、安全监控等。
恶意应用检测：如深度伪造检测等。

2. 算法安全

算法鲁棒性增强：通过数据增强、鲁棒特征学习、模型随机化、模型正则化、训练数据采样等提升算法抗攻击能力。
算法公平性保障：包括算法公平性约束、偏见歧视后处理等。
算法可解释性提升：如模型自解释、算法全局解释、算法局部解释等。
算法知识产权保护：如模型水印技术。
算法安全评测：包括鲁棒性评测、公平性评测、可解释性评测等。

3. 数据安全

数据隐私计算：包括安全多方计算、同态加密、零知识证明、差分隐私等。
数据追踪溯源：如数据安全标签、区块链追踪等。
问题数据清洗：包括异常数据检测与删除、问题数据重构与修复等。
数据公平性增强：如数据分布修正等。
数据安全评测：包括数据合规性评测、数据泄露安全性评测等。

4. 平台安全

漏洞挖掘修复：如代码审计、模糊测试、安全响应机制等。
模型文件校验：通过格式、大小、参数等检测模型文件安全性。
框架平台安全部署：如可信执行环境部署、沙箱环境使用等。

三、人工智能重点应用安全防护实践

1. 自动驾驶安全防护

安全风险：包括传感器数据干扰和自动驾驶算法攻击。
安全防护：包括计算环境安全（如传感器抗干扰、V2X安全机制）、AI算法安全防御（如对抗样本检测、模型加密）、AI业务安全防御（如降级预案、多感知融合、关键数据记录）等。

2. 智能信贷风控安全防护

安全风险：如数据泄漏、模型滥用等。
安全防护：通过联合建模安全机制、数据安全防护技术、算法安全评测等手段进行防护。

3. 深度伪造应用安全防护

安全风险：深度伪造技术可能被用于伪造政治领袖和公众人物的高逼真度视频，引发社会不稳定。
安全防护：包括深度伪造检测技术、数据安全防护、算法安全评测等。

附录

图目录：包含人工智能安全风险地图、论文趋势图、安全技术图谱等，帮助理解安全框架与技术实施。
表目录：列出人工智能安全热点技术方向的提出国家及中国创新成果，体现中国在该领域的贡献。

总结

《人工智能安全框架（2020年）》全面覆盖人工智能安全问题，提出涵盖安全目标、安全能力、安全技术和安全管理的系统性框架。该框架强调实用性、整体性和前瞻性，为企业提供循序渐进提升安全能力的路径。同时，蓝皮书提出人工智能安全技术实施的具体措施，并结合自动驾驶、智能信贷风控、深度伪造等典型应用场景，展示了人工智能安全防护的实践成果，为行业提供了有益的参考和指导。

展开完整摘要