大模型和智能体安全风险治理与防护_19页_11mb

腾讯大模型与智能体安全风险治理与防护总结

核心内容

腾讯在大模型与智能体安全治理方面，提出了涵盖多个维度的综合防护体系。该体系围绕大模型的全生命周期，从训练、推理、部署到运行环境，识别并管理各类安全风险。同时，腾讯构建了专门的安全工具和平台，如LLM-WAF、AI-SPM、天御大模型安全网关等，以应对日益复杂的AI安全挑战。

主要观点

• 大模型成为新一代经济增长引擎：大模型通过生成技术，为解决产业痛点和推动企业数字化提供了全新思路。
• 安全风险覆盖多个层面：包括应用、运行环境、模型本体、基础设施等，涉及数据泄露、提示词攻击、越狱、伦理偏见、多模态攻击、工具滥用等。
• 安全治理需系统化与标准化：腾讯提出了一套符合监管要求、统一安全水位的安全治理框架，涵盖安全运营、测试工具、风险监测、身份管理等模块。
• 攻击面多样化与复杂化：攻击者可利用输入接口、输出生成、内部表征、多模态通道、外部数据源等不同途径进行攻击，形成复杂的攻击链。
• 安全防护需多技术融合：结合规则、模型、流量监控、工具调用控制等技术，构建多层次防护体系，有效应对AI安全威胁。

关键信息

大模型常见安全风险

1. 样本投毒：数据污染导致模型输出异常。
2. 恶意利用：Prompt注入攻击、越狱攻击等。
3. 代码泄露：第三方工具或开源组件引入风险。
4. 权限滥用：自动化Agent权限管理不当。
5. 暴露面过大：模型平台和数据的高风险暴露。
6. 数据与隐私泄露：私有数据集、模型文件、个人隐私信息。
7. 模型推理劫持：对抗样本攻击、解码约束绕过。
8. AI伦理与偏见：模型输出内容可能放大偏见。
9. 开源模型滥用：深度伪造、辅助犯罪等。
10. 业务安全风险：如恶意引导、内容爬取等。

大模型安全风险结构

• 应用安全：敏感信息泄露、API攻击、DDoS攻击等。
• 运行环境安全：开发框架、数据集、训练工具等。
• 模型本体安全：训练、推理、部署过程中的风险。
• 基础设施安全：计算资源、权限设置、操作漏洞等。

攻击方法与技术

• 基于提示工程的攻击：角色扮演、指令操纵、输入混淆。
• 利用输出结构的攻击：约束解码攻击、恶意JSONSchema、正则表达式。
• 多模态攻击：对抗性图像、视觉提示、音频指令、跨模态不一致。
• 基于优化的攻击：梯度攻击、黑盒优化、遗传算法、通用对抗触发器。
• 表征工程攻击：激活向量操纵、安全表征识别与利用。
• 自动化生成/模糊测试：攻击者LLM、遗传算法、系统化模糊框架。
• 智能体和工具攻击：工具滥用、权限提升、反馈循环操纵、资源耗尽。

安全治理框架

• 安全运营：包括安全基准、Red Teaming、测试工具及平台。
• 安全管控：涵盖训练过程、模型应用、数据安全、供应链安全等。
• 风险监测及响应：实时检测、攻击行为识别、漏洞管理。
• 统一身份与权限管理：构建智能体身份、服务提供者身份、工具身份的统一管控机制。

安全防护架构

• LLM-WAF：智能安全防护网关，支持多模型、多场景、高并发下的全链路防护。
• AI-SPM：安全态势感知系统，用于攻击面和漏洞管理。
• 天御大模型安全网关：提供身份管理、防AI攻击、决策与执行安全，构建统一安全防线。
• 安全数据库：包含黑白执行序列、提示词样本库、工具信息库等。
• Red Team对抗实践：通过渗透测试、漏洞识别、攻防演练等方式提升AI安全防护能力。

结论

腾讯通过构建系统化的安全治理框架和先进的防护技术，全面应对大模型与智能体带来的安全风险。其安全体系覆盖了从模型训练到部署运行的各个环节，确保大模型在企业应用中的安全、可控和可靠。同时，腾讯强调统一身份管理与权限控制的重要性，以防止越权访问和数据泄露等风险。