2025-05-20-兰德-人工智能的灭绝风险（英）_73页_704kb

人工智能对人类灭绝风险的分析总结

核心内容

本报告由 RAND 的 Michael J. D. Vermeer、Emily Lathrop 和 Alvin Moon 合作撰写，旨在评估人工智能（AI）对人类灭绝的潜在风险，并提出政策建议以减轻该风险。报告基于一个可证伪的假设：目前没有可以明确描述的场景表明 AI 会成为人类灭绝的确定性威胁。报告分析了三种可能的灭绝威胁场景：核战争、生物病原体释放以及恶意气候工程引发的严重气候变暖。

主要观点

1. 灭绝威胁的定义与评估

• 灭绝威胁：被定义为导致人类全部死亡的事件或一系列事件。
• 全球灾难性威胁：与灭绝威胁不同，它可能严重损害人类文明，但不一定会导致灭绝。
• 人类适应力与韧性：即使在某些灾难性场景下，人类仍有可能通过自然资本（如农业或采集）恢复，但当前社会的复杂性可能使这种恢复变得困难。

2. AI 在灭绝威胁中的角色

• AI 能力：报告指出，AI 要造成灭绝威胁，必须具备特定能力，包括与关键物理系统集成、无需人类维护即可运行、具有导致灭绝的目标，以及能够说服或欺骗人类以避免被发现。
• 风险指标：这些能力被视为潜在风险的指标，但仅表示灭绝威胁的可能性增加，并不意味着其必然发生。

3. 风险评估的不确定性

• 深度不确定性：AI 引发的灭绝风险评估涉及深度不确定性，即缺乏客观概率数据。
• 已知与未知技术：报告认为，纳米技术及其他未知技术由于不确定性过高，难以进行有效评估，因此建议采取“观察等待”策略。
• 风险分类：报告将 AI 引发的灭绝风险分为深度不确定性和已知无知两类，其中深度不确定性指可描述结果但无法量化概率，已知无知则指结果无法完全描述。

关键信息

三种灭绝威胁场景分析

AI 需要的关键能力

• 与关键物理系统集成
• 无需人类维护即可运行
• 具有导致灭绝的目标
• 说服或欺骗人类以避免被发现

风险评估的挑战

• 预测难度：由于深度不确定性，无法进行有效的风险预测。
• 历史参考不足：当前社会的复杂性缺乏历史参照，使恢复变得困难。
• 未来灾难的脆弱性：即使有可恢复的人口，未来的自然灾难仍可能造成灭绝。

政策建议

• 持续研究 AI 风险：在关注灭绝风险的同时，也要研究其他全球性风险，如全球灾难性风险、人类权力丧失和 AI 安全与公平问题。
• 提升人类韧性：通过政策手段（如核不扩散、流行病防控、《蒙特利尔议定书》和《基加利修正案》等）增强人类对全球灾难的应对能力。
• 研究潜在技术：聚焦 AI 可能用于造成伤害的具体技术，评估其潜在能力和限制。
• 评估已知与未知威胁：研究包括 AI 与小行星撞击等在内的高不确定性风险。
• 监控风险指标：识别并监控 AI 相关的风险指标，如温室气体浓度，并制定清晰的触发条件与应对措施。
• 缩短决策与行动时间：制定政策以加快对 AI 风险的响应速度，同时认识到灭绝威胁通常需要长期行动。

结论

报告认为，虽然无法证明 AI 会必然导致人类灭绝，但也不能排除这种可能性。因此，需要进行比较风险评估，以合理分配资源来应对 AI 引发的灭绝风险。建议将资源用于减轻全球灾难性风险和提升 AI 安全与伦理，这将间接降低灭绝风险的可能性。