人工智能安全白皮书（2018年）-中国信通院-2018.09-49页_1mb

人工智能安全白皮书（2018年）总结

核心内容

人工智能作为战略性技术，正加速推动经济社会向智能化发展，但其发展也带来多方面的安全风险。本白皮书首次提出人工智能安全体系架构，涵盖安全风险、安全应用和安全管理三个维度，系统梳理了人工智能安全现状，分析了其潜在风险，并提出了发展建议。

主要观点

• 人工智能技术发展迅速，但仍处于弱人工智能阶段，存在技术不成熟和恶意应用的双重风险。
• 人工智能安全内涵包括降低技术风险、推动安全应用、构建安全管理体系。
• 安全风险类型多样，涵盖网络安全、数据安全、算法安全、信息安全、社会安全和国家安全六个方面。
• 安全应用方向明确，主要集中在网络信息安全和社会公共安全领域，如智能安防、金融风控、舆情监测等。
• 安全管理尚不完善，各国在法规政策、标准规范、技术手段等方面均处于探索阶段。
• 国际竞争与合作并存，各国在人工智能发展上各有侧重，美国强调技术领先，欧盟关注伦理与隐私，我国则注重规划引领与产业协同。

关键信息

一、人工智能安全内涵与体系架构

• 人工智能定义：模拟、延伸和扩展人类智能，感知环境，获取知识并使用知识获得最佳结果。
• 发展阶段：分为弱人工智能、强人工智能和超人工智能。
• 安全体系架构：涵盖安全风险、安全应用和安全管理三个维度，三者相互依存，共同构建人工智能安全管理体系。

二、人工智能安全风险分析

1. 网络安全风险

• 学习框架和组件存在漏洞和后门风险。
• 恶意软件利用人工智能实现自动化攻击和规避检测。
• 智能僵尸网络和机器人集群的威胁加剧。

2. 数据安全风险

• 逆向攻击可能导致数据泄露。
• 人工智能提升数据挖掘能力，增加隐私泄露风险。
• 例如：Facebook数据泄露事件，剑桥分析公司滥用用户数据进行政治宣传。

3. 算法安全风险

• 算法设计或实施有误可能导致不良结果。
• 算法偏见和歧视问题突出，影响公平性和社会正义。
• 算法黑箱问题引发监督与审查困难。
• 训练数据偏差影响模型准确性，如人脸识别系统对不同种族识别率差异。

4. 信息安全风险

• 智能推荐算法可能加速不良信息传播。
• 人工智能可用于生成虚假信息，用于诈骗等非法活动。
• 例如：语音合成技术被用于电信诈骗，聊天机器人模拟人类对话。

5. 社会安全风险

• 人工智能可能引发结构性失业。
• 自动驾驶、无人机等高度自治系统可能危及人身安全。
• 例如：特斯拉自动驾驶事故、无人机干扰航班事件。
• 人工智能可能冲击社会伦理道德体系，如智能伴侣机器人影响传统家庭观念。

6. 国家安全风险

• 人工智能可用于影响政治意识形态，如剑桥分析公司参与美国大选。
• 可用于构建新型军事力量，如智能武器和无人作战平台。
• 恐怖分子可能利用人工智能技术实施攻击，如委内瑞拉无人机袭击事件。

三、人工智能安全应用情况

1. 网络信息安全应用

• 网络安全防护：用于入侵检测、恶意软件识别、安全态势感知等。
• 信息内容安全审查：用于识别和过滤不良信息。
• 数据安全管理：实现数据分类、防泄漏、泄露溯源等。

2. 社会公共安全应用

• 智能安防：用于人脸识别、车辆识别、行为预测等，提升安全预警能力。
• 金融风控：用于信用评估、风险控制、资产预测等。
• 舆情监测：用于国家网络舆情监控，提升社会治理能力。

四、人工智能安全管理现状

1. 主要国家关注重点

• 美国：关注国家安全和市场力量，推动自动驾驶、刑事司法等领域监管。
• 欧盟与英国：强调伦理原则和法律约束，推动数据保护和自动化决策规范。
• 俄罗斯、以色列、印度：重视国防和军事安全，推动人工智能在军事领域的应用。
• 加拿大、日本、韩国、新加坡：侧重人才培养、技术研发和产业推进。

2. 法规政策制定情况

• 各国在人工智能安全法规政策方面尚处于初步阶段。
• 美国强调市场主导，欧盟强化政府监管，我国以规划引导为主。

3. 标准规范制定情况

• 国际上主要标准组织如IEEE、ISO/IEC等在人工智能伦理和安全标准方面开展研究。
• 我国标准制定主要集中在生物识别、智能网联汽车等领域，基础安全标准仍待完善。

4. 技术手段建设情况

• 安全监管和防护技术手段逐步完善。
• 企业层面通过事前规范、事中监测、事后应急等方式进行安全控制。

5. 重点应用安全评估情况

• 自动驾驶安全测试标准尚未统一，安全评估依赖企业自主。
• 工业机器人标准相对完善，但智能服务机器人标准尚不健全。

6. 人才队伍建设情况

• 我国高校和科研机构在人工智能人才培养方面取得进展。
• 但与美英等国相比，仍存在差距，特别是在资深人才和基础研究方面。

7. 产业生态培育情况

• 我国人工智能产业生态已初步形成，但发展不均衡。
• 基础层薄弱，技术层和应用层发展较快，但难以形成整体可控生态。
• 美国在人工智能产业链各环节全面领先，主导全球发展。

五、人工智能安全发展建议

1. 加强自主创新：突破基础技术瓶颈，推动安全防护技术发展。
2. 完善法律法规：制定《个人信息保护法》，明确责任主体。
3. 健全监管体系：优化治理架构，加强企业自律与政府监管协同。
4. 强化标准引领：推动人工智能安全标准体系建设，形成统一评估体系。
5. 促进行业协作：推动人工智能与网络安全、公共安全领域融合应用。
6. 加大人才培养：优化教育体系，提升人员就业技能，降低失业风险。
7. 加强国际交流：参与全球标准制定，促进技术合作，应对共有安全风险。
8. 加大社会宣传：提升公众安全意识，引导科学看待人工智能发展。

总结

人工智能在推动社会智能化的同时，也带来多方面的安全风险，包括技术不成熟、恶意应用、算法偏见、数据泄露等。其安全应用主要集中在网络安全、数据管理、智能安防、金融风控和舆情监测等领域。当前，各国在人工智能安全管理方面仍处于探索阶段，需进一步加强法规政策、标准规范、技术手段、人才建设等方面的布局，以实现人工智能安全健康发展，提升国家在新一轮技术变革中的竞争力。