基于大语言模型（LLM）的系统安全_关键授权实践_42页_2mb

总结内容

主要目标读者：本报告针对系统架构师、安全工程师及AI专业人士，提供基于大语言模型（LLM）系统的安全授权实践指导。

核心原则：

• 授权决策必须在LLM外部进行，避免LLM参与敏感操作，如身份验证或策略执行。
• 默认拒绝访问，采用最小权限原则，以降低风险。
• 持续验证输入和输出，防止提示注入和数据中毒等攻击。
• LLM本身不可信，需通过系统设计隔离其非确定性影响。

关键组件及安全注意事项：

• 编排器：负责协调LLM输入输出，需防范提示注入，确保身份信息在LLM外部处理。
• 向量数据库：用于管理高维数据，必须实施文档级访问控制，确保检索前进行授权检查。
• 验证器：作为防御层，防止输入/输出攻击，但非主要授权机制。
• LLM缓存：加速响应，但应避免缓存受控数据以防泄露，需严格验证缓存内容。
• 机器学习安全运维（MLSecOps）：关注训练数据安全，防数据投毒和模型完整性破坏。

主要挑战与风险：

• 提示注入：LLM非确定性导致指令绕过，必须通过外部验证而非LLM上下文控制。
• 非确定性：LLM输出不可预测，增加漏洞风险，需结合输入验证和沙箱技术。
• 授权问题：在LLM内部实现授权易导致攻击，推荐将决策置于外部组件。
• 数据安全：外部数据源访问需严格授权，微调模型时注重数据隐私和匿名化。

常见架构设计模式：

• 检索增强生成（RAG）：整合外部数据时，确保检索点访问控制，使用向量数据库优化效率。
• LLM编写和执行代码：采用沙箱隔离、参数化查询和代码验证，限制执行权限，防恶意代码。
• 基于LLM的自主智能体：强调人机协作，通过代理处理交互，但需动态信任管理，防止越权操作。
• API调用模式：API调用前验证身份，使用沙箱和监控以防数据泄露。

总体建议和结论：

• 推行纵深防御，结合向量数据库、编排器和验证机制，确保系统完整。
• 连续监控和审计，动态调整安全策略以应对LLM快速迭代风险。
• 人类监督在关键步骤（如代码执行或智能体交互）中至关重要，提高决策可靠性。

本报告强调，随着LLM技术发展，安全设计需持续演进，社区协作分享经验以优化实践。