2024人工智能安全报告-奇安信_26页_2mb

2024年人工智能恶意使用威胁分析报告总结

人工智能作为第四次科技革命的核心技术，其发展既带来效率提升与创新机遇，也引发安全风险与治理挑战。报告指出AI技术的双重属性：既能推动社会进步，也可能被用于恶意活动，对网络安全、物理安全、政治安全与军事安全构成系统性威胁。

主要威胁类型

1. AI放大既有威胁：深度伪造技术使虚假视频/音频攻击激增，2023年全球深度伪造欺诈增长3000%，钓鱼邮件增长1000%。APT组织已利用AI实施十余起网络攻击，包括伪造领导人视频、生成针对性诈骗邮件等。
2. 新型威胁涌现：生成式AI推动新型攻击模式，如恶意AI机器人、自动化攻击系统、AI驱动的虚假内容生成等。美国国防部计划2024财年投入2457亿美元加强AI相关网络安全能力。
3. 技术滥用风险：WormGPT、FraudGPT等黑产大语言模型已形成灰色产业链，能生成高质量诈骗模板和恶意代码。AI还可用于破解验证码、口令爆破、社会工程学攻击等场景，PassGAN可破解81%的普通密码，GPT-4V可突破多数验证码系统。
4. 系统性安全漏洞：LLM存在提示注入、数据投毒、模型窃取等十大安全风险，OWASP提出针对大模型应用的十项技术风险。AI技术可能被用于劫持自动驾驶系统传感器，导致交通事故。

威胁特征与影响

• 技术扩散性：AI生成能力使攻击者能快速开发复杂攻击工具，如BlackMamba多模态恶意软件可绕过EDR检测。
• 攻击智能化：AI可分析用户行为生成精准钓鱼内容，模仿CEO语音实施诈骗，2019年英国能源公司损失24万美元。
• 产业链威胁：大语言模型培训数据可能包含不良信息，导致生成内容危害国家安全。AI技术可被用于创建大规模僵尸网络，形成商业化灰色生态。
• 军事化趋势：AI武器化使自主武器系统成为可能，可能导致战场失控与平民伤亡。2024年以色列已部署AI驱动无人机进行军事行动。

现存问题

• 各类AI安全风险研究不足，行业对潜在危害的认知仍滞后于技术发展速度
• 攻防技术博弈加剧，当前AI攻击系统多处于概念验证阶段，实际应用场景有限
• 个人与组织对AI风险的防范能力薄弱，社会工程学攻击成功率持续上升
• 国际安全格局变化加速，AI技术可能被用于信息战、政治操纵等跨领域威胁

应对建议

1. 安全行业需构建AI防御体系，开发对抗恶意AI的检测工具，建立漏洞披露机制
2. 监管机构应完善技术治理框架，加强AI相关研究成果的评估与管控
3. 政企机构需部署AI安全框架，实施数据保护措施，开展员工安全培训
4. 网络用户要强化安全意识，使用强密码与多因素认证，定期更新系统软件

报告强调，AI技术具有双刃剑属性，其恶意使用已形成系统性威胁网络。行业与社会需建立协同防御机制，平衡技术创新与安全治理，在技术应用初期就建立有效的防控体系。当前攻防技术竞赛已进入关键阶段，短期内可能会出现重大变化，需做好技术准备与安全策略调整。