2025年大型语言模型+_LLM_+安全风险_案例与防御策略研究报告-ChaMD5安全团队_26页_3mb

ChaMD5安全团队AI组：LLM安全研究报告

研究背景

首次报告LLM安全核心风险，强调持续改进。报告基于OWASP LLM Top10框架（2025版），通过案例分析介绍防御工具，并提出组织级安全建议。

核心内容

1. OWASP LLM Top10风险

十大关键风险：

• LLM01 Prompt Injection：恶意提示操控模型行为
• LLM02 Sensitive Info Disclosure：模型泄露敏感数据
• LLM03 Supply Chain：第三方组件安全威胁
• LLM04 Data/Model Poisoning：训练数据投毒破坏模型
• LLM05 Improper Output Handling：未验证的模型输出导致下游攻击
• LLM10 Unbounded Consumption：资源耗尽型攻击

2. 工具分析

代表性工具：

3. 安全建议

组织级实施策略：

1. 构建纵深防御体系：结合代码审计、数据清洗、红队测试与运行时防护
2. 实施风险优先级方法：依据OWASP框架动态评估风险等级
3. 工具组合策略：
   • 开发阶段：LangChain框架规范 + 静态代码分析
   • 防御阶段：Rebuff AI防护 + Garak漏洞扫描
   • 供应链阶段：ModelScan + 依赖项审查

4. 关键威胁实例

• PoisonGPT：演示模型投毒导致定向错误的精确定向攻击
• PyTorch劫持事件：依赖混淆引发的供应链注入攻击，收集敏感系统信息

结论建议

LLM安全需重视开发框架选择、输出防护设计和资源使用控制，建立持续监控机制。具体行动包括：纳入AI安全培训、建立漏洞响应流程、定期更新安全工具配置。
教育资源消耗类攻击(The Unbounded )，通过资源控制与流量整形难以应付，需特别关注频繁复杂请求防御。