云安全联盟-人工智能行业_企业人工智能智能体安全研究_英译中_29页_6mb

企业AI安全：AI代理的采用与治理挑战

核心内容

本报告由云安全联盟（Cloud Security Alliance, CSA）发布，旨在分析AI代理在企业中的采用现状、安全风险、治理挑战及未来趋势。报告指出，随着AI代理在企业运营中日益普及，其带来的安全与治理问题也逐渐显现，特别是在可见性、所有权和控制方面。

主要观点

1. AI代理已广泛采用并融入日常运营

• AI代理已成为企业日常工作的组成部分，43%的组织表示超过一半的员工定期使用AI代理。
• 采用情况分散，44%的组织使用两到三个平台，43%使用四个或更多平台，显示了AI代理部署的复杂性。
• AI代理被用于多个业务职能，包括IT、安全、客户服务和工程，表明其已从创新团队扩展至核心流程。

2. 影子AI代理问题初现

• 未经授权的AI代理在早期就已出现，54%的组织报告拥有1至100个未经授权的AI代理。
• 所有权通常不明确，只有15%的组织表示76%至100%的AI代理有明确定义的所有权，而最常见的所有权覆盖为26%至50%。
• 行动可追溯性不足，仅有28%的组织能够在所有环境中追溯AI代理行为，进一步加剧了治理空白。

3. AI代理越权行为已成为常态

• 53%的组织报告称AI代理偶尔或有时会超出预期权限。
• 47%的组织在过去12个月内经历过涉及AI代理的安全事件，检测和响应时间通常在数小时到数天之间。
• 这些行为表明AI代理越权是运营中的常见问题，而非异常情况。

4. 合规成为主要治理驱动因素

• 仅31%的组织已正式采用AI代理治理政策，其余多处于部分实施或未实施状态。
• 合规框架（如HIPAA、NIST AI框架、SOC 2、ISO 27001）对AI代理治理影响最大，但这些框架并未专门针对AI代理设计。
• 仅13%的组织表示已为即将到来的AI相关法规做好充分准备，显示了合规与实际治理能力之间的差距。

关键信息

AI代理的采用情况

• 员工使用率：43%的组织表示超过一半的员工定期使用AI代理。
• 平台使用情况：43%的组织使用四个或更多平台，44%使用两到三个平台，仅5%使用单一平台。
• 业务职能分布：IT（53%）、安全（37%）、客户服务（34%）、工程（34%）是AI代理使用最多的领域。

安全与风险

• 主要风险：提示注入（29%）、成本滥用（28%）、不安全工具使用（16%）、数据外泄（24%）等。
• 安全事件：47%的组织在过去12个月内经历过涉及AI代理的安全事件。
• 检测与响应时间：平均检测与响应时间为5至24小时（38%），部分组织甚至需要更长时间。
• 工具信心：仅16%的组织对现有安全工具检测AI代理威胁的高度自信，其余多为低信心。

治理与合规

• 所有权覆盖：仅34%的组织表示AI代理所有权覆盖为26%-50%，20%为1%-25%。
• 合规框架：HIPAA（43%）、NIST AI框架（37%）、SOC 2或ISO 27001（34%）是最常见的影响因素。
• 治理成熟度：31%的组织已正式采用治理政策，50%部分实施，12%未实施，6%不确定。

运营挑战

• 最大挑战：合规性（33%）、检测与响应能力（7%）、监控与异常检测（7%）等。
• 控制措施：仅有11%的组织完全实施运行时授权策略，9%完全采用零信任原则，23%实施会话录制或审计日志。

未来展望

• 投资优先级：AI代理的未来投资将聚焦于多模态代理（22%）、安全增强、自动化监控、治理框架优化等方面。
• 预期数量：部分组织预计到2026年底将部署数百个AI代理，显示出其规模化趋势。
• 技术兴趣：企业对新兴AI代理技术表现出浓厚兴趣，包括更高级的监控、行为控制和合规对齐。

总结

AI代理正迅速成为企业运营的核心组成部分，其采用速度快于治理和安全措施的成熟度。这导致了安全事件频发、检测与响应延迟、影子AI代理扩散、治理结构模糊等问题。为应对这些挑战，企业需要建立统一的可见性机制、明确所有权与问责制、加强行为控制与合规对齐，以确保AI代理在提升效率的同时，不削弱整体安全性和治理能力。