人工智能安全白皮书（2018年）

报告摘要

人工智能安全白皮书（2018年）总结

核心内容

人工智能作为引领未来的战略性技术，正加速推动经济社会向智能化跃升。然而，其快速发展也带来了多方面的安全风险，包括网络安全、数据安全、算法安全、信息安全、社会安全和国家安全等方面。白皮书首次提出人工智能安全体系架构，涵盖安全风险、安全应用和安全管理三个维度，旨在系统性应对人工智能带来的安全挑战，推动其在安全领域的深度应用。

主要观点

人工智能技术具有“双刃剑”效应，既带来机遇，也存在潜在风险。
人工智能安全风险源于技术不成熟性及恶意应用，需通过技术、法律、管理等多方面手段加以应对。
人工智能在网络安全、信息内容审查、数据管理、智能安防、金融风控、舆情监测等领域具有广泛的应用潜力。
人工智能安全管理体系需涵盖法规政策、标准规范、技术手段、安全评估、人才队伍建设与产业生态培育等多个方面。

关键信息

一、人工智能安全内涵与体系架构

人工智能基本概念与发展历程
- 人工智能源于1956年达特茅斯会议，当前仍处于弱人工智能阶段。
- 弱人工智能适用于特定领域，强人工智能与超人工智能尚在探索阶段。
人工智能安全内涵
- 降低人工智能不成熟性和恶意应用带来的安全风险。
- 推动人工智能在网络安全和公共安全领域的深度应用。
- 构建人工智能安全管理体系，保障其安全稳步发展。
人工智能安全体系架构
- 包括安全风险、安全应用、安全管理三个维度。
- 各维度相互依存，共同构成人工智能安全管理体系。

二、人工智能安全风险分析

网络安全风险
- 学习框架和组件存在漏洞，可能被攻击者利用。
- 人工智能可提升网络攻击效率和破坏程度，如智能僵尸网络和对抗样本攻击。
数据安全风险
- 逆向攻击可能导致训练数据泄露。
- 人工智能提升数据挖掘能力，加大隐私泄露风险。
算法安全风险
- 算法设计或实施错误可能产生不公或危险结果。
- 算法黑箱问题引发监督审查困境。
- 训练数据偏差影响模型准确性。
信息安全风险
- 智能推荐算法可能加速不良信息传播。
- 人工智能可用于制作虚假信息，实施诈骗等不法活动。
社会安全风险
- 人工智能可能导致结构性失业。
- 自动驾驶、无人机等系统的安全问题可能危及人身安全。
- 人工智能可能冲击社会伦理道德体系。
国家安全风险
- 人工智能可用于影响政治意识形态，威胁国家安全。
- 人工智能在军事领域应用，可能引发新型军事力量和军备竞赛。

三、人工智能安全应用情况

网络信息安全应用
- 用于入侵检测、恶意软件识别、信息内容审查、数据防泄漏等。
- 国内应用尚处于研究阶段，国外如DarkTrace等已实现平台化应用。
社会公共安全应用
- 智能安防、金融风控、舆情监测等。
- 智能安防发展迅速，预计2020年全球市场规模将达106亿美元。
- 金融风控应用尚处于起步阶段，监管政策尚在完善中。

四、人工智能安全管理现状

主要国家关注重点
- 美国：关注人工智能对国家安全的影响，加强监管。
- 欧盟与英国：强调伦理原则和法律法规约束。
- 俄罗斯、以色列、印度：聚焦人工智能在国防与军事领域的应用。
- 加拿大、日本、韩国、新加坡：重视人才培养与技术研发。
法规政策制定情况
- 美国：鼓励市场力量，加强对自动驾驶等领域的监管。
- 欧盟：出台《通用数据保护条例》，规范人工智能自动化决策。
- 我国：制定《新一代人工智能发展规划》，推动安全监管与标准化建设。
标准规范制定情况
- 国际上主要标准组织如IEEE、ISO/IEC正在研究人工智能安全标准。
- 我国在生物识别、智能网联汽车等领域的安全标准相对较多，但基础共性标准仍较少。
技术手段建设情况
- 各国政府和企业重视安全监管与防护技术手段建设。
- 企业通过事前规范、事中监测、事后应急管控等方式加强安全管理。
重点应用安全评估情况
- 自动驾驶安全评估尚未形成统一标准，评估工作主要依赖企业。
- 智能机器人安全标准体系尚不完善，评估能力有待提升。
人才队伍建设情况
- 我国高校和企业加大人工智能人才培养，取得一定成果。
- 与美国、英国相比，我国在产业人才数量和资深从业者比例上仍存在差距。
产业生态培育情况
- 我国人工智能产业生态初步形成，但基础层发展相对薄弱。
- 美国在人工智能全产业布局领先，主导全球发展。