新型视频语义编码技术白皮书（2024年）-中移智库-32页_9mb

新型视频语义编码技术白皮书（2024）总结

一、技术背景

随着5G、5G-A和AI技术的发展，视频编码技术面临新挑战和机遇。新型视频内容（如VR、全景视频、自由视点视频）带来了海量数据存储和传输压力。视频语义编码技术通过视频内容和语义特征进行编码，兼顾信号保真度、感知自然性和语义质量，突破传统视频编码瓶颈，推动视频产业高质量发展。

二、关键技术

1. 视觉感知编码
   基于人眼视觉特性（如JND、ROI编码）和机器视觉需求（如SMR模型），优化编码性能，降低冗余。

2. 生成式编码
   利用生成对抗网络（GAN）恢复高频纹理，提升极低码率下的编码效率，支持AIGC生成内容的压缩需求。

3. 跨模态编码
   将视频信息转化为文本描述，再通过生成对抗网络重建，实现多模态信息压缩与传输。

4. 机器视觉编码
   面向机器任务需求（如目标检测、实例分割），提供紧凑特征表达，支持如CDVS、CDVA、VCM等标准。

三、标准化进展

• 已形成AI视频编码（如EVC、EEV）、VR视频编码（如MIV）、多视点视频编码（如AVS3）等标准。
• 国际组织（如ISO/IEC、ITU-T）积极布局AI编码标准，国内标准（如AVS3、CDVS）也在持续推进。

四、未来展望

视频语义编码将融合6DoF视频、预训练多模态模型、隐式表征等技术。通过云-边-端计算架构和跨场景适配，推动视频应用创新与大规模落地，深化AI与视频编码的协同进化。