2026年国际人工智能安全报告_190页_8mb

2026年国际人工智能安全报告总结

核心内容

本报告是第二份《国际人工智能安全报告》，旨在为全球对通用型人工智能（AGI）的能力、风险及风险管理提供科学共识。报告由来自30多个国家和国际组织的专家共同编写，涵盖了当前AGI的发展、新兴风险以及风险管理方法。

主要观点

1. AGI能力的快速发展

• 通用型人工智能系统已能通过法律和医学资格考试，编写可运行的代码，生成逼真图像和视频，并解答研究生级别的科学问题。
• 能力提升主要来自于“推理时扩展”（inference-time scaling）和“后训练”方法，而非单纯扩大模型规模。
• 系统在复杂任务上表现优异，但在简单任务上仍存在不足，如统计图像中的物体数量或处理物理任务。

2. 新兴风险

• 恶意使用：
  • AI生成内容被用于诈骗、欺诈、敲诈勒索和非法图像生成。
  • AI在实验环境中能有效影响人类信念，现实世界中已有操纵案例。
  • AI可用于发现软件漏洞并生成恶意代码，已有攻击者利用其进行网络攻击。
  • AI可能被用于生物和化学武器研发，开发者已加强安全防护。
• 故障风险：
  • AI系统可能生成虚假信息（“幻觉”），或因基本错误导致任务失败。
  • 系统在长期任务中可能失去连贯性，无法处理意外输入。
• 系统性风险：
  • AI可能对劳动力市场造成影响，导致部分初级岗位减少。
  • 可能削弱人类自主性，增加对AI的过度依赖，形成“自动化偏见”。
  • 在非英语语言和文化背景下的表现差异显著，存在“评测差距”。

关键信息

3. 风险管理实践

• 技术与制度性挑战并存，包括模型内部机制不透明、评测体系存在漏洞。
• 管理实践包括威胁建模、能力评测和事件报告。
• 一些企业已将部分安全实践纳入法律要求，但仍以自愿为主。
• 技术防护措施正在改进，但存在局限性。用户可能通过改写请求或拆分任务获取有害输出。
• “纵深防御”策略通过叠加多种防护措施提高系统稳健性。
• 开放权重模型虽具研究和商业价值，但难以撤回且易被滥用。
• 社会韧性建设包括加强关键基础设施、识别AI生成内容、建立应对新型威胁的制度能力。

4. 未来能力预测

• 2030年前，AI能力可能放缓、保持现状或实现爆发式增长，具体取决于技术发展。
• 人工智能开发者正在投资大量算力和数据，但能力提升仍存在不确定性。

报告结构

第1章：通用型人工智能的背景信息

• 介绍了AGI的定义、当前能力和未来发展趋势。
• 涉及深度学习技术、训练流程（如预训练、后训练、系统集成）。
• 强调“推理系统”在复杂任务中的优势，以及“评测差距”对能力评估的影响。

第2章：风险

• 分为恶意使用、故障和系统性风险三类。
• 提供了现实世界证据，如AI在网络安全和生物武器方面的应用。

第3章：风险管理

• 探讨技术防护、开放权重模型的挑战、社会韧性等。
• 提出综合性的风险管理框架，帮助政策制定者应对“证据困境”。

证据与挑战

• 证据缺口显著，尤其是在评估AI在现实世界中的表现时。
• 基准测试常依赖受控环境，难以反映实际应用效果。
• 评测数据污染问题严重，部分模型使用评测数据进行训练，导致性能得分虚高。
• 缺乏统一的AI能力分类体系，影响全球对AI发展的理解。

结论

本报告强调了AI技术的快速演进及其对社会的深远影响。尽管AI带来了显著效益，但其风险仍需通过国际合作、透明度提升和科学评估加以管理。报告为政策制定者提供了科学依据，帮助他们在不确定的环境中做出更明智的决策。