大模型与智能体安全风险治理与防护_19页_11mb

报告总结：大模型与智能体的安全风险治理

引言

2025年7月8日分享内容分析表明，AI大模型正推动企业数字化进入“大模型时代”，成为经济增长的关键驱动力。大模型基于生成技术，为企业解决产业痛点提供新思路，但也带来诸多安全风险。

核心风险与挑战

• 常见安全风险：包括样本投毒、恶意利用（如Prompt注入攻击）、代码辅助数据泄露、第三方依赖风险、自动化Agent权限滥用等十大风险。
• 风险结构：大模型安全风险贯穿端到端过程，涵盖训练、推理、部署和基础设施层面，涉及敏感信息泄露、应用安全漏洞和业务风险。
• 攻击变化：结合传统漏洞与AI特性，出现新型混合攻击，如提示词注入、模型推理劫持、智能体越权访问。
• AI专用风险：大模型协议设计不足、权限管理差异导致控制面攻击放大，以及对抗样本、模型偏见等问题。

治理与防护框架

• 标准化框架：腾讯大模型安全治理框架强调监管合规、安全运营和风险监测，提供端到端的安全策略。
• 防护措施：
  • 工具与系统：包括LLM-WAF（大模型安全网关）用于内容安全过滤和提示词攻击防护；AI-SPM系统用于风险态势感知和漏洞检测。
  • 身份与权限管控：通过统一智能体身份管理（如天御大模型安全网关），解决跨平台认证、权限缺失和越权访问。
  • 内容与数据安全：使用数据分级、动态脱敏和机密计算技术，保护敏感数据全生命周期。
• 对抗实践：红队测试（如LLM渗透测试）主动发现漏洞，包括提示注入和模型提取风险。

关键结论

大模型应用需注重风险治理、身份统一和端到端防护，以应对日益增长的安全威胁。腾讯框架和工具提供了可行方案，但需持续更新以适应AI民主化进程中的新挑战。