新型视频语义编码技术白皮书2024年-中国移动研究院_32页_9mb

新型视频语义编码技术白皮书（2024）总结

随着5G、AI技术发展和新型视频内容的涌现，传统视频编码技术面临效率瓶颈。视频语义编码技术应运而生，基于视频内容和语义特征进行编码，同时追求信号保真度、感知自然性和语义质量，有望实现突破。

技术发展态势

1. 视频内容多元化，催生更高编码需求；
2. 从“看得清”向“看得真”转变，要求兼顾人类与机器视觉需求；
3. 新型应用场景推动编码技术革新。

核心技术路线

1. 传统编码框架优化：引入AI技术，如JND、ROI编码等；
2. 神经网络编码：混合编码与端到端编码并存，生成式编码（GAN应用）崭露头角；
3. 跨模态编码：实现视频到文本再到图像的多模态转换。

标准化进程

• AI视频编码：探索全神经网络与混合编码标准；
• VR/多视点视频编码：国际标准持续推进；
• 面向机器视觉编码：CDVS、CDVA等标准逐步完善。

未来展望

1. 向6DoF（六自由度）视频扩展；
2. 与AIGC深度融合，降低内容生成成本；
3. 发展多模态预训练模型提升编码效率；
4. 推动云-边-端协同的异构计算架构。

本技术将革新视频传输方式，推动视频产业高质量发展。