2024-12-16-中移智库-新型视频语义编码技术白皮书（2024年）_32页_9mb

新型视频语义编码技术白皮书（2024）总结

背景与需求

视频编码技术面临新的挑战，主要源于四个方向：视频质量追求超高清化、应用场景从传统“看得清”转向“看得真”（VR/AR、自由视点视频），以及视频内容需高效服务机器视觉任务（安防、工业质检等）。传统编码标准（如H.264、H.266/VVC）的性能提升面临瓶颈，亟需突破。

核心技术

视频语义编码技术通过基于视频内容语义特征进行编码，突破传统压缩框架，兼具“感知质量和语义质量”。主要技术路径：

1. 视觉感知编码：结合人眼视觉特性或机器视觉需求优化编码，如恰可察觉失真（JND）和感兴趣区域（ROI）编码。
2. 生成式编码：利用生成对抗网络（GAN）恢复高频细节，实现在极低码率下的高质量重构。
3. 跨模态编码：将视频信息转化为文本描述，再通过生成模型重构，减少冗余信息，提升效率。
4. 面向机器视觉的编码：提取与机器任务强相关的语义特征，用于压缩域分析，提升目标检测和机器分析性能，如CDVS、CDVA、VCM等标准。

标准化进展

视频语义编码标准尚在发展中，现已有如下代表性标准：

• AI视频编码：IEEE 1857.11、MPAI EVC/EEV 探索端到端视频编码，效率显著提升。
• VR/自由视点视频：MPEG MIV/V3C、国内AVS标准填补了沉浸式视频编码的空白。
• 面向机器视频编码：CDVS/CDVA提供图像特征压缩，以VCM/D个人眼兼容压缩为导向，兼顾机器与人机任务。

发展展望

未来视频语义编码将重点实现以下方向：

• 多自由度（6DoF）视频（体积视频、点云序列等）编码；
• 预训练多模态模型推动编码效率；
• 打通AIGC生成内容高效存储、压缩与传输通道；
• 实现隐式表征融合，寻求深度压缩（如“万倍压缩”）；
• 基于云-边-端异构计算架构满足差异性能需求。

此外，视频语义编码与传输技术将协同演进，进一步优化视频体验，支持5G+AIAI时代视频产业的高质量发展。

核心价值

从通信、感知、分析、存储及未来业务应用等多重需求，视频语义编码技术以自动化、面向任务、存储低消耗的方式，为视频业务提供基础底层支撑，推动视频产业迈向智能化、高可靠性与降本增效的发展方向。

注： 本文基于原文进行压缩与转译，核心逻辑与技术框架保留，同时保证内容的专业性和流畅理解。