> **来源：[研报客](https://pc.yanbaoke.cn)** # 详细总结：AI与全球安全的交汇风险 ## 核心内容 本报告由**Federation of American Scientists (FAS)**发布，探讨了**人工智能（AI）**如何与**全球安全风险**相互交织，并提出了应对这些风险的政策建议。报告指出，AI已从一项独立的技术政策议题，演变为影响全球经济、军事、科学和地缘政治的**通用能力**，其发展速度、应用范围和未来轨迹的不确定性，使它成为全球安全治理中的关键议题。 ## 主要观点 ### 1. AI对全球安全的影响 - AI正在进入多个关键安全领域，包括生物研究、网络操作、核稳定、军事决策等。 - AI的能力具有**双重用途**，既能促进有益的科研和决策，也可能被用于制造威胁。 - AI的快速发展可能改变全球风险的**生成、扩散与互动方式**，并引入新的复杂性与脆弱性。 ### 2. 风险模型 报告采用了一个经典的国家安全风险模型：**RISK = THREAT × VULNERABILITY × CONSEQUENCE**（TVC）。 - **Threat**：指潜在的威胁来源，包括恶意行为者（国家或非国家行为体）的意图与能力。 - **Vulnerability**：指技术系统、机构、基础设施或治理机制中的薄弱环节，可能被威胁利用。 - **Consequence**：指威胁利用脆弱性后可能产生的后果，如人员伤亡、系统崩溃、信任丧失等。 ### 3. AI的未来轨迹 报告分析了当前关于AI发展的三种主要观点： - **Mirage（幻象）**：认为当前AI炒作过度，风险主要来自过早部署、欺诈、资源错配和政策分散。 - **Normal Technology（常规技术）**：将AI视为一种强大但可管理的通用技术，其风险源于扩散不均、部署脆弱、自动化偏见和能力扩散。 - **Autonomous Power（自主权力）**：认为AI可能演进为高度自主甚至超越人类能力的系统，风险包括权力集中与失控，可能导致存在性威胁。 ## 关键信息 ### 1. AI系统当前表现 - AI系统包括**狭义AI**（如图像分类）和**通用AI**（如前沿AI系统）。 - 前沿AI系统具备**多任务处理能力**，可进行分析、编码、规划、科学推理、工具使用和合成媒体生成。 - 系统性能具有**不均衡性**，即“锯齿状技术前沿”（Jagged Technological Frontier），在某些任务上表现优异，而在看似相似的任务上可能失败。 - 存在“能力-可靠性差距”（Capability-Reliability Gap），即系统可能在基准测试中表现良好，但在实际部署中可能不稳定或脆弱。 ### 2. AI对全球风险的三重影响 - **Threat（威胁）**：AI可能增强恶意行为者的攻击能力，包括网络攻击、生物实验、核安全等。 - **Vulnerability（脆弱性）**：AI系统本身及其部署环境可能带来新的脆弱性，如技术漏洞、机构失能、人类-机器协作问题。 - **Consequence（后果）**：AI可能压缩响应时间，使失败更难处理，从而放大风险后果。 ### 3. 政策建议 报告提出了**五个支柱**和一个**基础**的政策框架，以应对AI与全球安全风险的交汇： #### 基础：政府能力、协调与翻译基础设施 - 政府需具备技术能力、与AI开发者建立信任渠道、跨领域协调和独立评估AI能力的能力。 #### 五项支柱 1. **PILLAR 1：加强测试、评估、验证与验证（TEVV）能力** - 建立更准确的评估体系，包括基准测试、部署监控和能力轨迹指标。 2. **PILLAR 2：治理技术层** - 包括模型安全、访问控制、透明度义务、事故报告和降低高风险能力的扩散。 3. **PILLAR 3：治理社会技术系统的部署** - 针对高风险用途（如军事决策、网络操作、生物设计等）进行分层审批、独立审查、审计日志和人类控制测试。 4. **PILLAR 4：转向防御优势** - 限制攻击者获取AI能力，同时加强AI在网络安全等防御领域的应用。 5. **PILLAR 5：构建社会与机构韧性** - 在无法完全预防风险的情况下，增强网络韧性、公共卫生计划和危机沟通机制。 ## 总结 AI正在成为全球安全风险的重要组成部分，其发展速度、应用广度和未来不确定性要求政策制定者采取**多维度、前瞻性的治理策略**。政策制定者应明确自身假设，关注可塑性而非预测性，并构建能够适应证据变化的制度。AI的治理不应仅限于技术层面，还需考虑社会技术系统的互动、人类行为与机构适应能力，以及如何在不同未来路径中保持政策的稳健性与适应性。