> **来源：[研报客](https://pc.yanbaoke.cn)** # OWASP Top 10 for Large Language Model Applications 2025 总结 ## 核心内容 OWASP Top 10 for Large Language Model Applications 2025 是一个由社区驱动的文档，旨在提高开发者和安全专业人员对AI应用中安全问题的认识，并提供实际的防护策略。文档强调了随着LLMs在各个行业的深入应用，新的安全风险也随之出现，需要更全面的防护措施。 ## 主要观点 - **LLMs的广泛应用带来了新的安全挑战**，包括提示注入、敏感信息泄露、供应链风险等。 - **文档强调了安全防护的持续性和动态性**，需要不断更新模型和系统安全机制以应对新威胁。 - **社区反馈和专家经验**是构建和优化这份清单的重要基础，确保其内容实用且具有针对性。 - **风险评估和威胁建模**在LLM应用安全中起着关键作用，有助于识别潜在的攻击面和设计有效的防护策略。 ## 关键信息 ### 10个主要风险 | 编号 | 风险名称 | 描述 | |------|----------|------| | LLMD1 | Prompt Injection | 用户输入可能改变LLM的行为或输出，导致违规、有害内容生成或未经授权访问。 | | LLMD2 | Sensitive Information Disclosure | LLM可能无意中泄露用户隐私或敏感信息，如PII、商业数据等。 | | LLMD3 | Supply Chain | 供应链中的第三方组件、模型或数据可能被篡改，影响模型安全性和完整性。 | | LLMD4 | Data and Model Poisoning | 训练数据或模型本身可能被污染，导致输出偏见或恶意行为。 | | LLMD5 | Improper Output Handling | LLM输出可能包含恶意内容或不符合预期格式，影响系统安全。 | | LLMD6 | Excessive Agency | LLM在具有高自主性的架构中可能执行未经授权的操作。 | | LLMD7 | System Prompt Leakage | 系统提示可能被泄露，导致安全机制失效。 | | LLMD8 | Vector and Embedding Weaknesses | 向量和嵌入技术存在漏洞，可能被用于恶意操作。 | | LLMD9 | Misinformation | LLM可能生成误导性信息，影响决策或信任。 | | LLMD10 | Unbounded Consumption | LLM资源使用无限制，可能导致系统过载或意外成本。 | ## 风险类型与防范策略 ### Prompt Injection - **类型**：直接注入、间接注入、多模态注入、多语言/混淆攻击、后缀攻击。 - **防范策略**： - 限制模型行为，明确系统提示和任务限制。 - 验证输出格式，使用语义过滤和字符串检查。 - 实施权限控制，避免将敏感功能交给模型。 - 需要人工审批高风险操作。 - 分离和识别外部内容。 - 进行对抗性测试和攻击模拟。 ### Sensitive Information Disclosure - **常见漏洞**：PII泄露、训练数据倒推、商业数据泄露。 - **防范策略**： - 数据清洗和脱敏。 - 严格输入验证。 - 使用联邦学习和差分隐私技术。 - 用户教育和透明度政策。 - 隐藏系统提示，遵循安全配置最佳实践。 ### Supply Chain - **常见风险**：第三方库漏洞、许可证风险、过时模型、模型污染、模型来源不明、LoRA适配器漏洞、协作开发环境漏洞、边缘设备模型漏洞、条款不明确。 - **防范策略**： - 严格审核数据源和供应商，确保使用可信资源。 - 使用SBOM和BOM管理工具进行组件追踪和审计。 - 对模型进行红队测试和评估，确保其安全性。 - 使用代码签名和模型完整性检查。 - 实施异常检测和对抗性测试。 ## 攻击场景示例 - **直接注入**：攻击者通过修改提示，使聊天机器人访问私人数据。 - **间接注入**：通过网页中的隐藏指令，使LLM泄露私人对话。 - **无意注入**：在职位描述中包含AI检测指令，导致求职者无意中触发。 - **恶意文档篡改**：修改训练数据，影响LLM输出。 - **代码注入**：利用漏洞注入恶意提示，获取敏感信息。 - **多模态注入**：在图像中隐藏提示，影响模型行为。 - **后缀攻击**：通过添加看似无意义的字符，改变模型输出。 - **多语言攻击**：使用多种语言或编码方式绕过过滤机制。 ## 参考链接 - ChatGPT Plugin Vulnerabilities - ChatGPT Cross Plugin Request Forgery and Prompt Injection - Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection - Defending ChatGPT against Jailbreak Attack via Self-Reminder - Prompt Injection attack against LLM-integrated Applications - Inject My PDF: Prompt Injection for your Resume - From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy - OWASP API8:2023 Security Misconfiguration - HuggingFace SF_Convertbot Scanner ## 相关框架与分类 - **MITRE ATLAS**： - AMLT0051000 - LLM Prompt Injection: Direct - AMLT0051.001 - LLM Prompt Injection: Indirect - AMLTO054 - LLM Jailbreak Injection: Direct - **其他相关**： - AMLT0024.000 - Infer Training Data Membership - AMLT0024.001 - Invert ML Model - AML.T0024.002 - Extract ML Model - OWASP CycloneDX ## 结语 OWASP Top 10 for Large Language Model Applications 2025 是一份全面且实用的指南，帮助开发者和安全专业人员识别和应对LLM应用中的关键安全风险。通过持续的社区协作、技术更新和最佳实践，可以有效提升LLM应用的安全性。