2025年大语言模型（LLM）应用十大安全风险洞察报告_45页_7mb

报告摘要

OWASP Top 10 for Large Language Model Applications 2025 总结

核心内容

OWASP Top 10 for Large Language Model Applications 2025 是一个由社区驱动的文档，旨在提高开发者和安全专业人员对AI应用中安全问题的认识，并提供实际的防护策略。文档强调了随着LLMs在各个行业的深入应用，新的安全风险也随之出现，需要更全面的防护措施。

主要观点

LLMs的广泛应用带来了新的安全挑战，包括提示注入、敏感信息泄露、供应链风险等。
文档强调了安全防护的持续性和动态性，需要不断更新模型和系统安全机制以应对新威胁。
社区反馈和专家经验是构建和优化这份清单的重要基础，确保其内容实用且具有针对性。
风险评估和威胁建模在LLM应用安全中起着关键作用，有助于识别潜在的攻击面和设计有效的防护策略。

关键信息

10个主要风险

编号	风险名称	描述
LLMD1	Prompt Injection	用户输入可能改变LLM的行为或输出，导致违规、有害内容生成或未经授权访问。
LLMD2	Sensitive Information Disclosure	LLM可能无意中泄露用户隐私或敏感信息，如PII、商业数据等。
LLMD3	Supply Chain	供应链中的第三方组件、模型或数据可能被篡改，影响模型安全性和完整性。
LLMD4	Data and Model Poisoning	训练数据或模型本身可能被污染，导致输出偏见或恶意行为。
LLMD5	Improper Output Handling	LLM输出可能包含恶意内容或不符合预期格式，影响系统安全。
LLMD6	Excessive Agency	LLM在具有高自主性的架构中可能执行未经授权的操作。
LLMD7	System Prompt Leakage	系统提示可能被泄露，导致安全机制失效。
LLMD8	Vector and Embedding Weaknesses	向量和嵌入技术存在漏洞，可能被用于恶意操作。
LLMD9	Misinformation	LLM可能生成误导性信息，影响决策或信任。
LLMD10	Unbounded Consumption	LLM资源使用无限制，可能导致系统过载或意外成本。

风险类型与防范策略

Prompt Injection

类型：直接注入、间接注入、多模态注入、多语言/混淆攻击、后缀攻击。
防范策略：
- 限制模型行为，明确系统提示和任务限制。
- 验证输出格式，使用语义过滤和字符串检查。
- 实施权限控制，避免将敏感功能交给模型。
- 需要人工审批高风险操作。
- 分离和识别外部内容。
- 进行对抗性测试和攻击模拟。

Sensitive Information Disclosure

常见漏洞：PII泄露、训练数据倒推、商业数据泄露。
防范策略：
- 数据清洗和脱敏。
- 严格输入验证。
- 使用联邦学习和差分隐私技术。
- 用户教育和透明度政策。
- 隐藏系统提示，遵循安全配置最佳实践。

Supply Chain

常见风险：第三方库漏洞、许可证风险、过时模型、模型污染、模型来源不明、LoRA适配器漏洞、协作开发环境漏洞、边缘设备模型漏洞、条款不明确。
防范策略：
- 严格审核数据源和供应商，确保使用可信资源。
- 使用SBOM和BOM管理工具进行组件追踪和审计。
- 对模型进行红队测试和评估，确保其安全性。
- 使用代码签名和模型完整性检查。
- 实施异常检测和对抗性测试。

攻击场景示例

直接注入：攻击者通过修改提示，使聊天机器人访问私人数据。
间接注入：通过网页中的隐藏指令，使LLM泄露私人对话。
无意注入：在职位描述中包含AI检测指令，导致求职者无意中触发。
恶意文档篡改：修改训练数据，影响LLM输出。
代码注入：利用漏洞注入恶意提示，获取敏感信息。
多模态注入：在图像中隐藏提示，影响模型行为。
后缀攻击：通过添加看似无意义的字符，改变模型输出。
多语言攻击：使用多种语言或编码方式绕过过滤机制。

参考链接

ChatGPT Plugin Vulnerabilities
ChatGPT Cross Plugin Request Forgery and Prompt Injection
Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection
Defending ChatGPT against Jailbreak Attack via Self-Reminder
Prompt Injection attack against LLM-integrated Applications
Inject My PDF: Prompt Injection for your Resume
From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy
OWASP API8:2023 Security Misconfiguration
HuggingFace SF_Convertbot Scanner