人工智能安全标准白皮书-中国电子技术标准研究院_96页_2mb

人工智能安全标准化白皮书（2019版）总结

核心内容

《人工智能安全标准化白皮书（2019版）》由全国信息安全标准化技术委员会及多家企业和机构共同编写，旨在推动人工智能技术的安全、可靠、可控发展。白皮书分析了人工智能的发展现状、安全风险、伦理挑战及标准化需求，提出了人工智能安全标准体系及标准化工作建议。

主要观点

1. 人工智能迎来第三次发展浪潮

   • 在大数据、云计算、物联网等技术的推动下，人工智能在算法、算力和数据三方面实现突破，进入快速发展阶段。
   • 人工智能技术已广泛应用于计算机视觉、语音识别、自然语言处理、人机交互等领域，部分场景已接近或超越人类水平。

2. 人工智能产业链初具规模

   • 全球人工智能市场发展迅速，中国作为主要发展力量，人工智能相关公司数量超过2500家，产业规模持续扩大。
   • 产业链分为基础层、技术层和应用层，分别涉及计算力、数据、算法、产品与服务、行业解决方案等。

3. 人工智能应用场景广阔

   • 人工智能在安防、金融、零售、医疗、政务、交通、制造、家居等领域有广泛应用。
   • 金融和医疗是应用最深入的行业，而智能军事、智能写作、无人船等仍处于起步阶段。

4. 人工智能发展仍处于起步阶段

   • 通用人工智能尚未实现，仍以弱人工智能为主，缺乏自主意识和复杂推理能力。
   • 技术应用尚不成熟，存在可解释性、泛化能力、能耗、可靠性、鲁棒性等瓶颈。
   • 投资趋于理性，复杂场景应用仍需时间发展。

关键信息

国内外人工智能安全法规政策

• 联合国：关注人工智能伦理与人身安全，发布自动驾驶、机器人等领域法规。
• 美国：推动人工智能标准制定，强调安全性和可解释性，提出“可解释人工智能（XAI）”和“抗欺骗可靠性（GARD）”计划。
• 欧盟：重视伦理道德，提出人工智能可信赖的七大原则，GDPR对人工智能带来隐私保护挑战。
• 德国：发布自动驾驶伦理标准，强调人类安全优先。
• 英国：建立数据伦理与创新中心，鼓励负责任的技术创新，提出人工智能应用准则。
• 日本：成立人工智能伦理委员会，制定伦理准则和战略。
• 中国：发布《新一代人工智能治理原则》，提出八项原则，包括安全可控、公平公正、尊重隐私等。

人工智能安全标准化工作

• ISO/IEC JTC1：成立SC42分委员会，制定多项标准，如算法偏见、可信赖度、鲁棒性、隐私保护等。
• ITU-T：关注安全、隐私、可解释性等，推动相关标准制定。
• IEEE：发布多项伦理标准，如《伦理驱动的机器人和自动化系统的本体标准》，提出透明性、可解释性、问责等原则。
• NIST：推动人工智能标准和风险管理，强调技术工具和评估机制。
• TC260：发布多项人工智能安全标准，如生物特征识别、自动驾驶、数据安全等，但尚未形成完整的自身安全标准体系。

安全风险分析

3.1 新的攻击威胁

• 对抗样本攻击：通过添加微小干扰，导致模型错误输出，影响自动驾驶等系统。
• 数据投毒：向训练数据中注入异常数据，破坏模型的准确性和可靠性。
• 模型窃取：通过预测查询获取模型参数，可能造成数据泄露。
• 人工智能系统攻击：包括控制流攻击、设备欺骗、内存重映射攻击等。

3.2 人工智能安全隐患

• 算法模型安全隐患：包括鲁棒性不足、数据依赖、偏见与歧视、黑箱决策等问题。
• 数据安全与隐私保护隐患：数据采集、使用、存储、共享和传输过程中存在风险，如重识别、标注不当、隐私泄露等。
• 基础设施安全隐患：包括开源风险、软件框架漏洞、传统软硬件安全、系统复杂性与不确定性等。
• 应用安全隐患：涉及智能音箱、自动驾驶、生物特征识别等具体应用场景，存在多方面脆弱性。
• 人工智能滥用：包括不当使用、恶意利用、技术失控等，可能引发伦理、法律、社会问题。

3.3 安全影响

• 国家安全：人工智能可用于军事、情报等领域，可能引发新的安全威胁。
• 社会伦理：对低技能劳动力造成影响，加剧社会分化与不平等。
• 人身安全与隐私保护：人工智能在医疗、交通等领域的应用可能带来隐私泄露和人身安全风险。

人工智能安全标准体系

• 基础性安全标准：包括人工智能安全风险、政策现状、安全标准需求等。
• 数据、算法和模型安全标准：如数据隐私处理、算法偏差、模型鲁棒性等。
• 技术和系统安全标准：包括计算方法、系统安全、安全测试等。
• 管理和服务安全标准：涵盖伦理、责任、隐私保护等管理层面内容。
• 测试评估安全标准：制定评估方法和流程，确保人工智能系统的安全性和可靠性。
• 产品和应用安全标准：包括生物特征识别、自动驾驶、智能家居等领域的具体标准。

标准化工作建议

• 加强人工智能安全标准体系研究，制定覆盖基础、数据、算法、系统、管理、测试评估等的全面标准。
• 推动人工智能标准与现有网络安全、隐私保护等标准融合。
• 鼓励多方参与标准制定，构建开放、协作、敏捷的标准化机制。
• 建立人工智能安全评估和测试平台，提高系统的可解释性、可靠性与安全性。
• 加强人工智能伦理与法律研究，确保技术发展与社会价值相协调。

附录内容

• 人工智能相关安全标准：包括TC260、ISO/IEC、ITU-T、IEEE等组织发布的多项标准。
• 人工智能应用安全实践案例：包括百度、猎户星空、清华大学、依图、IBM、深信服、360、阿里巴巴、华为等企业的实践案例。
• 参考文献：涵盖多篇研究报告、法规文件及技术文档，为白皮书提供理论与实践支持。