计算机行业AI安全系列：以子之矛，攻子之盾，从deepfakes深度伪造技术看AI安全-20230626-浙商证券-53页_3mb

AI安全系列：以子之矛，攻子之盾

核心内容

本报告主要探讨了AI生成内容（AIGC）的安全问题，特别是以Deepfakes深度伪造技术为切入点，分析其技术演进、检测手段及反生成AI市场的发展前景。报告指出，随着AI大模型能力的提升，Deepfakes技术已进入主流市场，同时也引发了对AI生成内容真实性识别的迫切需求。当前，AIGC的监管和识别技术正在逐步完善，反AI生成市场空间预计约为64亿元。

主要观点

1. Deepfakes技术的发展历程

• 2014年：GAN技术的提出，标志着Deepfakes技术的诞生。
• 2017年：英伟达推动GAN技术质量飞跃，深度伪造技术开始被推向市场主流。
• 2019年：Deepfakes成为市场主流，YouTube频道关注者数量激增。
• 2020年：微软推出FaceShifter，提升深度伪造图像质量。
• 2021年：社交媒体上出现大量深度伪造内容，引发关注。
• 2022年：GAN技术不断优化，如StyleGAN2和3DGAN，推动深度伪造技术发展。

2. 生成式AI模型的技术基础

生成式AI是深度学习的重要分支，包括生成式语言模型和生成式图片模型。主要模型包括VAE、GAN、Diffusion模型等，其中Stable Diffusion的推出显著提升了图像生成质量。

3. Deepfakes技术的演进趋势

• 数据：训练数据集规模扩大，提升模型效果。
• 算法：算法框架不断迭代与组合，提高模型训练效率和稳定性。
• 算力：算力水平提升，使得复杂模型训练更加高效。

4. 检测手段

• GAN图检测：通过训练分类器识别GAN生成图像的特殊特征，如颜色块、纹理不自然、边缘不清晰等。
• 频率特征检测：利用FFT分析图像频率分布。
• 梯度特征检测：通过边缘检测算法分析图像梯度。
• 深度学习模型：基于CNN等模型进行分类，识别生成图像与真实图像的差异。
• 物理与生理特征：通过分析照明、反射、对称性等特征识别伪造内容。

5. 无目标可视身份伪造

• 通过AI生成不存在的人脸图像，如“This Person Does Not Exist”网站。
• icons8利用StyleGAN生成高质量伪造人脸图像，并按属性分类展示。

6. 有目标可视身份伪造

• 在俄乌冲突中，深度伪造技术被用于制造虚假视频，如泽连斯基和普京的伪造视频。
• 伪造视频存在画质模糊、场景单一等问题，但随着技术进步，伪造效果不断提升。

关键信息

1. Deepfakes技术的应用

• 国内：ZAO、Face X-Ray等应用曾出现，但因安全和法律问题部分下架。
• 国外：FaceShifter、Wombo AI、DeepFaceLive等应用广泛使用，技术较为成熟。

2. 反AI生成市场空间

• 监管侧：约44亿元，主要由公安、司法机构等需求驱动。
• 企业侧：约20亿元，面向互联网用户和企业，用于AI伪造识别。

3. 主要参与公司

• 上市公司：美亚柏科、东方通
• 非上市公司：瑞莱智慧、中科睿鉴、Illuminarty（海外）、AI Voice Detector（海外）、Google（海外）

4. 产品与技术

• 美亚柏科：推出AI-3300“慧眼”视频图像鉴真工作站，具备多种检测算法。
• 东方通：开发“深度合成内容监测”产品，具备音视频检测能力，推出TongGPT模型。
• 瑞莱智慧：推出DeepReal检测平台，检测准确率高，支持多种检测功能。
• 中科睿鉴：具备行业大模型能力，提供“睿安”、“睿图”、“睿鉴图灵”等工具。
• Illuminarty：提供免费和付费的AI生成内容检测服务，支持图片和文本识别。
• AI Voice Detector：用于检测AI生成音频，支持多种格式，但功能尚不完善。

5. 市场空间测算

• 监管侧：假设单套设备售价为42万元，渗透率为100%时，市场规模为44亿元。
• 企业侧：假设订阅价格为325元/月，覆盖10.5亿互联网用户，市场规模为20亿元。

技术挑战与改进方向

1. 技术挑战

• 泛化性差：检测器对新生成器生成的图像识别效果较差。
• 模型Ensemble：生成模型可能采用多个子模型，增加检测难度。
• 针对性生成：恶意生成模型可能专门生成难以检测的内容。
• 检测准确率：目前AI生成内容的检测准确率仍有提升空间。

2. 改进方向

• 提升泛化性能：研究跨模型检测方法，提高检测器的适应能力。
• 数据多样性：使用更多不同生成器生成的数据训练检测器。
• 结合多种特征：融合不同特征（如视觉、频率、梯度）以提高检测准确性。
• 技术与政策结合：从技术层面和政策层面共同监管AIGC，防止伪造内容泛滥。

风险提示

1. AIGC监管及识别技术研发不及预期。
2. 报告内容基于论文理解，存在主观性。
3. 市场空间测算存在主观判断及口径差异。
4. AI安全需求可能加剧市场竞争。
5. 板块政策可能发生重大变化。

附录：参考文献

• 《Auto-Encoding Variational Bayes》
• 《Generative Adversarial Networks》
• 《Training generative neural networks via Maximum Mean Discrepancy optimization》
• 《Conditional Generative Adversarial Nets》
• 《Learning structured output representation using deep conditional generative models》
• 《Learning What and Where to Draw》
• 《Conditional Image Synthesis With Auxiliary Classifier GANs》
• 《StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks》
• 《StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks》
• 《Image-to-Image Translation with Conditional Adversarial Networks》
• 《Progressive Growing of GANs for Improved Quality, Stability, and Variation》
• 《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》
• 《A Style-Based Generator Architecture for Generative Adversarial Networks》
• 《Taming Transformers for High-Resolution Image Synthesis》
• 《ViTGAN: Training GANs with Vision Transformers》
• 《Denoising Diffusion Probabilistic Models》
• 《Improved Denoising Diffusion Probabilistic Models》
• 《A Comprehensive Survey of AI-Generated Content (AIGC)》
• 《Density estimation using Real NVP》
• 《FFJORD: Free-form Continuous Dynamics for Scalable Reversible》