20260526-360人工智能安全研究院-智能体安全新范式_当AI有了手和脚_企业安全边界必须重建_49页_2mb
报告摘要
智能体安全新范式总结
核心内容
随着 AI 技术的发展,智能体(Agent)正在从“能回答”进化为“能执行”,企业安全边界必须从传统的网络、终端和账号扩展到身份、工具、数据、记忆和行为等维度。智能体安全的核心问题不再是“说错话”,而是“做错事”,即在合法权限范围内执行了违背业务意图或安全边界的操作。
主要观点
- 智能体安全问题的本质是“合法动作的非法后果”,不同于传统漏洞利用,更关注 Agent 在正常流程中因误判、诱导或误操作带来的风险。
- 智能体安全需要从“风险识别”走向“体系化治理”,构建覆盖部署前、运行中、处置后的防护体系。
- 智能体的规模化部署带来了攻击面扩张,尤其是 Skill 成为供应链风险入口,需重点关注其准入、检测、授权和运行审计。
- 传统安全手段在智能体场景中存在局限,包括边界防御、漏洞扫描和审计追溯等,需引入新的安全框架如“Agent 安全六层攻击面模型”和“AER 智能体执行风险指数”。
- 企业部署智能体需遵循“先安全,后自治”原则,建立与智能体能力相匹配的安全边界和治理能力。
关键信息
1. 智能体与对话式模型的差异
| 维度 | 对话式模型(Chatbot) | 智能体(Agent) |
|---|---|---|
| 核心能力 | 生成内容 | 执行任务 |
| 外部连接 | 较少 | 广泛 |
| 权限使用 | 有限 | 较多 |
| 风险形态 | 错误输出 | 错误动作 |
| 安全重点 | 内容审核 | 行为治理 |
| 后果边界 | 可能误导用户 | 可能造成数据泄露、越权操作、业务中断 |
2. 智能体安全六层攻击面模型
| 层级 | 安全对象 | 核心风险 | 防护重点 |
|---|---|---|---|
| 人机交互层 | 用户输入与 AI 输出 | 提示词注入、违规输出 | 输入净化、输出过滤、意图检测 |
| 通信调用层 | API 通信与数据传输 | 通信投毒、数据篡改 | 通信加密、完整性校验 |
| 组件间层 | 模型与组件交互 | 记忆投毒、意图篡改 | 组件隔离、意图验证 |
| 智能体之间 | Agent 协作通信 | 身份假冒、访问越权 | 身份认证、权限隔离 |
| 工具调用层 | 外部工具调用 | 工具伪造、返回值污染 | 工具白名单、返回值校验、Skill 检测 |
| 基础运行环境层 | 推理框架与部署环境 | 框架漏洞、配置错误 | 漏洞扫描、安全基线、沙箱隔离 |
3. 企业 Agent 治理五要素
- 身份:Agent 应具有独立、可追溯的身份,避免无边界继承用户权限。
- 工具:建立工具白名单机制,对高权限工具进行强管控。
- 数据:对数据访问实施分级权限控制和敏感信息保护。
- 记忆:对 Agent 记忆进行审计,防止记忆污染和隐私残留。
- 行为:记录 Agent 执行路径、关键决策、风险评分和人工确认情况,实现行为可控。
4. AER 智能体执行风险指数
$$
\mathrm{AER} = \text {权限范围} \times \text {工具能力} \times \text {数据敏感度} \times \text {自主程度} \div \text {可逆性系数}
$$
AER 用于启发式评估智能体执行风险等级,指导企业进行风险分级和治理策略配置。
5. SKILL 安全与治理建议
- SKILL 安全:成为 Agent 生态的供应链风险入口,需关注其安全治理。
- 十大高风险 SKILL 类型:包括数据外泄、凭证窃取、资产转移、诱导付费、违规导流、隐蔽外联、远程执行、提示词投毒、后门控制等。
- 治理建议:建立 Skill 准入机制、持续检测、运行审计、权限边界控制等。
6. 企业级智能体安全底座与实践
- 七类安全底座能力:包括身份隔离、权限最小化、工具白名单、数据边界、行为审计、人机确认、回滚机制。
- 三大发力点:意图检测、环境隔离、逻辑纠偏。
- 360“端+云+管理平台”架构:形成端侧防护、云端运营、统一治理的闭环体系,支撑智能体全生命周期安全。
7. 政企部署 Agent 的高风险场景与建设路线图
-
五个高风险场景:
- 知识库问答 Agent:RAG 投毒、权限穿透、文档泄露。
- 办公自动化 Agent:误发邮件、越权审批、流程误操作。
- 代码开发 Agent:不安全代码、依赖风险、代码泄露。
- 安全运营 Agent:误封业务、错误处置。
- 数据分析 Agent:查询越权、敏感字段外泄。
-
Agent 安全成熟度模型(ASM):
- L1 无感使用:无边界、无审计。
- L2 工具管控:白名单、权限隔离。
- L3 行为审计:全链路日志、风险告警。
- L4 风险控制:人机确认、回滚机制。
- L5 智能防御:AI 对 AI 监测、自动响应。
-
分阶段建设路线图:
- 第一阶段:基础盘点与管控。
- 第二阶段:审计体系建设。
- 第三阶段:风险控制落地。
- 第四阶段:智能防御体系。
8. 部署模式
- 混合架构部署:集成沙箱与安全防护套件,适用于需本地执行隔离与云端能力结合的场景。
- 云端集中部署:集中管理检测、分析和管控能力,适用于 Agent 数量多、分布广的企业。
- 纯终端部署:在本地部署防护引擎,适用于已有统一管理平台的企业。
- 可联网部署:通过云端获取安全能力,适用于具备外网连接条件的企业。
- 隔离网部署:适用于政务、军工、金融等高安全需求的场景,需离线同步安全更新。
趋势展望
- 趋势一:Agent 身份治理将纳入企业零信任体系,成为新型数字主体。
- 趋势二:Skill、MCP 和工具链安全将成为 Agent 时代供应链安全的新战场。
- 趋势三:Agent 安全治理将从模型防护走向全生命周期治理,涵盖设计、上线、运行、复盘等环节。
结论
- 智能体安全不能仅依赖传统手段,需建立新的治理框架和能力体系。
- 企业部署 Agent 必须优先考虑安全边界和治理能力,而非单纯追求效率和自治。
- 未来,企业能否实现规模化部署智能体,将取决于其是否具备安全、可信、可审计、可治理的安全底座。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载