凯捷_2024年AI与生成式AI对网络安全的双重影响研究报告_83页_8mb

总结：AI与生成式AI对网络安全的影响

核心内容

随着AI和生成式AI（Gen AI）技术的快速发展，网络安全面临新的挑战和机遇。攻击者利用这些技术发起更复杂的攻击，同时，AI也为组织提供了增强安全防护能力的工具。

主要观点

1. AI和Gen AI带来的新威胁

• 更复杂的攻击与更多攻击者：Gen AI降低了攻击者的门槛，使他们能够创建更高级的攻击手段，如钓鱼邮件、社会工程、深度伪造（deepfakes）、恶意软件开发、绕过安全控制等。97%的受访组织在过去一年中报告了与Gen AI相关的安全事件。
• 攻击表面积扩大：随着Gen AI的广泛使用，组织必须应对更复杂的攻击表面积，包括对话式AI代理、AI集成应用、AI助手和搜索工具等。此外，内部人员可能误用Gen AI，导致敏感数据泄露。
• 生命周期管理挑战：定制Gen AI解决方案的整个生命周期（数据收集、模型定制、开发与维护）都必须得到安全保护，以防止敏感数据泄露和系统漏洞。AI和Gen AI在代码生成中可能引入已知漏洞，如MITRE CWE Top 25 Most Dangerous Software Weaknesses。

2. AI和Gen AI在网络安全中的应用

• 威胁检测与响应：AI提升了威胁检测和报告的实时性，减少了分析师疲劳，提高了调查效率。50%的组织认为AI对有效威胁响应至关重要。
• 增强数据与应用安全：大多数组织依赖AI来加强数据安全、应用安全和云安全。Gen AI被认为在长期中将增强网络安全。
• 多样化应用场景：AI在IT、OT和物联网（IoT）领域有广泛应用，包括生成威胁情报和漏洞评估。

关键信息

网络安全现状

• 安全事件激增：过去三年中，92%的组织经历了至少一次安全事件，相比2021年的51%有显著上升。
• 日均安全事件：平均每个组织每天遭遇约30起安全事件，其中银行业达到61%。
• 财务损失：约一半的组织因安全事件遭受超过5000万美元的直接或间接损失，部分组织甚至面临数亿美元的罚款或赔偿。

云安全风险

• 云安全事件激增：过去一年中，云相关的安全事件增加了约90%。
• 高风险行业：航空航天与国防、消费品、零售、银行业和高科技行业特别容易受到机器速度攻击的影响。

攻击方式

• 深度伪造攻击：超过40%的组织因深度伪造遭受财务损失，攻击者通过模仿高管声音实施欺诈。
• 提示注入（Prompt Injection）：攻击者通过恶意输入操纵AI模型，导致数据泄露、误导查询和安全漏洞。
• AI蠕虫：AI蠕虫能够利用Gen AI生态系统传播，影响多个设备，甚至威胁关键基础设施。

建议与策略

推荐措施

• 制定清晰的AI整合战略：评估AI带来的效率提升与风险降低，确保安全响应流程具备可操作性。
• 持续评估安全环境：及时识别新风险并部署适应性防御机制。
• 投资基础设施：包括高级通信系统、数据管理解决方案和云计算资源。
• 建立安全框架与治理机制：确保数据安全与AI模型的可信度。
• 整合AI解决方案：与现有SOC系统结合，提高响应效率。
• 员工培训：提供全面的AI和Gen AI安全培训，确保其合理使用。
• 关注攻击面管理：保护传统和新兴攻击面，防止未经授权的AI使用（即“影子AI”）。

读者对象

本报告适用于：

• C级高管
• 网络安全领导者
• 涉及多个行业的组织，如汽车、消费品、零售、银行、保险、电信、能源与公用事业、航空航天与国防、高科技、工业设备制造、制药与医疗、公共部门等。

调研数据

• 样本数据：基于对1000名行业高管的调查及对部分高管的深度访谈。
• 组织规模：大多数受访组织年收入超过10亿美元，其中60%超过50亿美元。
• 安全预算提升：60%的组织认为需要增加网络安全预算以应对新威胁。

术语定义

• 人工智能（AI）：开发能够执行需要人类智能的任务的计算机系统，如语音识别、决策和模式识别。
• 机器学习（ML）：AI的一个子领域，利用数据集训练算法，创建自学习模型。
• 生成式AI（Gen AI）：能够学习并复制数据属性和模式的AI，用于生成文本、图像、视频等。

结论

AI和Gen AI正在重塑网络安全的格局，既带来了新的风险，也提供了强大的防御工具。组织必须采取全面的安全策略，以应对这些技术带来的复杂挑战，并最大化其潜在优势。