SP_800-53安全人工智能系统控制叠加概念文件_7页_512kb

SP 800-53 安全人工智能系统控制叠加概念文件总结

核心内容

本文件提出了一个基于 NIST SP 800-53 安全控制措施的 控制覆盖层（Control Overlays for Securing AI Systems, COSAIS） 概念，旨在为人工智能系统提供定制化的网络安全控制方案。COSAIS 是 NIST 在人工智能安全框架配置文件 1 和人工智能风险管理框架（AI RMF）基础上，进一步开发的一系列以实施为导向的指导文件，用于应对人工智能系统在不同应用场景中的独特网络安全风险。

主要观点

• AI 安全性与传统软件不同：人工智能系统引入了新的安全挑战，例如模型数据的保护、训练过程中的攻击风险、模型输出的可信度等。
• SP 800-53 控制措施的灵活性：SP 800-53 提供了广泛的安全控制措施，能够根据人工智能系统的不同用例进行调整和优先级排序。
• 控制覆盖层的作用：覆盖层允许组织根据其特定的 AI 用例、技术架构和运营环境，选择、修改或补充 SP 800-53 控制措施，以实现更有效的网络安全管理。
• COSAIS 与现有 NIST 出版物的整合：COSAIS 将结合 AI 100-2e2025、草案 AI 800-1、SP 800-218A 等已有资源，为 AI 开发者和用户提供更具体的实施建议。
• 覆盖层不替代现有控制：覆盖层假定组织已具备基本的网络安全控制措施，如数据集管理、访问控制、事件响应等，用于进一步增强 AI 系统的安全性。

关键信息

NIST 提出的五个用例

1. 用例1: 生成式人工智能（助手/LLM）

   • 观众：使用 AI 创建新内容（如文本、图像）的组织。
   • 目的：通过大规模数据训练模型，识别用户提示数据中的模式。
   • 场景：
     • 本地托管的 LLM：使用 RAG 增强生成内容，支持本地和外部数据源。
     • 第三方托管的 LLM：同样支持 RAG，但数据来源可能受限。

2. 用例2: 预测性人工智能

   • 观众：使用 AI 分析历史数据以预测未来结果的组织。
   • 目的：通过自动化决策提升业务流程效率。
   • 场景：
     • 使用第三方模型，涉及专有或公开输入数据，关注模型的误报率、假阳性/假阴性率等。
     • 使用本地模型，如用于贷款审批或招聘流程，关注数据安全和模型更新机制。

3. 用例3: 单代理 AI 系统

   • 观众：希望利用 AI 代理自动化业务任务的机构。
   • 目的：代理系统具有自主决策能力，可在有限人工监督下运行。
   • 场景：
     • 企业副驾：连接用户的企业环境，如邮件、日历、CRM 系统，协助用户完成任务。
     • 编码助手：通过自然语言命令与代码库交互，执行开发任务。

4. 用例4: 多代理 AI 系统

   • 观众：希望使用多代理系统处理复杂业务流程的组织。
   • 目的：多个代理协同工作，完成任务并进行数据提取与处理。
   • 场景：如费用报销代理系统，多个代理从报销单中提取信息，验证政策主张，并进行支付审批。

5. 用例5: AI 开发者的安全控制

   • 观众：AI 开发者。
   • 目的：为 AI 开发者提供安全开发实践，如 SSDF（安全软件开发框架）和管理双用途模型的滥用风险。
   • 资源：整合 SP 800-53 控制与 AI 100-2e2025、SP 800-218A、草案 AI 800-1 等内容，形成完整控制方案。

控制覆盖层的实现方式

• 定制化控制措施：覆盖层允许组织根据特定场景选择、修改和补充 SP 800-53 控制措施。
• 信息资产保护：覆盖层将针对模型、训练数据、部署基础设施等信息资产进行保护。
• 支持多类型 AI 系统：包括生成式 AI、预测性 AI、AI 代理系统等。

NIST 叠加层开发进展

• Slack 频道：NIST 已启动 #nist-overlays-securing-ai 频道，作为 AI 安全控制覆盖层开发的讨论平台。
• 反馈机制：NIST 邀请公众对五个用例及未来工作进行反馈，可通过邮件或 Slack 参与。
• 发布计划：NIST 计划在 2026 财年早期发布第一个用例的公开征求意见稿，并举办公开研讨会。

NIST 下一步行动

NIST 希望通过以下方式进一步推进 COSAIS 项目：

• 收集反馈：关于用例是否覆盖了代表性 AI 应用，是否存在潜在风险领域。
• 评估架构与用例的实用性：是否符合现实世界的应用模式。
• 确定优先级：如何优先开发用例。
• 识别新领域：是否有其他 AI 用例需要考虑。

总结

COSAIS 是 NIST 为应对人工智能系统独特网络安全挑战而提出的控制覆盖层概念，旨在通过整合 SP 800-53 控制措施与现有 AI 安全指南，为不同类型的 AI 应用场景提供定制化、可实施的安全控制方案。该计划强调灵活性、可扩展性和社区参与，以确保 AI 系统在安全性和可靠性方面得到充分保障。