【中移智库】新型视频语义编码技术白皮书（2024年）_32页_9mb

新型视频语义编码技术白皮书总结

核心内容

本白皮书由中移智库发布，中国移动通信研究院编制，主要介绍了视频语义编码技术的发展背景、关键技术、应用场景以及标准化进展，旨在推动视频编码技术向更智能、更高效的方向演进，以适应大视频时代的需求。

主要观点

• 视频编码技术的发展：随着5G和AI技术的快速发展，视频编码技术正从“看得清”向“看得真”转变，催生了新的技术需求。
• 视频语义编码的定义：视频语义编码是一种基于视频内容和语义特征进行编码的技术，追求信号保真度、感知自然性和语义质量，有望突破传统编码方法的性能瓶颈。
• 关键技术方向：视频语义编码技术主要围绕视觉感知编码、生成式编码、跨模态编码、面向机器的视频编码和编码数据传输等方向展开。
• 标准化进展：国内外多个标准工作组正在推动AI视频编码、VR视频编码、多视点视频编码以及面向机器的视频编码等技术的标准化进程。
• 未来发展趋势：视频语义编码技术将向6DoF视频、多模态数据融合、异构计算架构、大模型支持等方向演进，成为视频产业高质量发展的关键推动力。

关键信息

视频编码技术总体发展态势

• 视频数据呈现高分辨率（UHD）、高帧率（HFR）、宽色域（WCG）、高动态范围（HDR）等趋势。
• 传统视频编码技术已无法满足当前视频数据量激增和高质量传输的需求。
• 视频语义编码技术成为应对这些挑战的新方案。

视频语义编码传输关键技术

1. 视觉感知编码

• JND编码：基于人眼对视觉失真不敏感的特性，采用自适应编码技术去除视觉冗余。
• ROI编码：通过检测感兴趣区域，进行自适应码率分配，提升编码效率。
• 技术路线：包括基于AI或传统方法的语义提取、处理，以及在混合编码框架中引入语义先验信息。

2. 生成式编码

• 基于生成对抗网络（GAN）的视频编码技术可有效恢复高频纹理细节，提升重建质量。
• 两种典型技术路线：直接对抗损失引导和生成驱动编码。
• 生成式编码在极低码率下表现突出，但仍需解决模型互通性、硬件部署等实际问题。

3. 跨模态编码

• 跨模态编码技术通过将图像或视频转换为文本描述特征，再通过生成对抗网络进行重建。
• 该技术有助于实现多模态信息的高效传输，但尚未形成统一框架。

4. 面向机器的视频编码

• 面向机器视觉任务的视频编码技术，如CDVS、CDVA、VCM和DCM，旨在提高机器视觉分析性能。
• VCM：定义了可用于多种机器视觉任务的紧凑码流，同时兼顾人类视觉感知和隐私保护。
• DCM：更加广泛，涵盖“数据”而非仅图像或视频，强调隐私保护和数据多样性。

5. 编码数据传输

• 媒体封装：采用TS、MP4、FLV等格式，支持多种编码方式和应用场景。
• 流媒体传输：包括MPEG-DASH、HLS、RTP、SRT、RTMP等协议，以满足低延迟、高带宽等需求。
• 随着语义编码技术的发展，媒体封装和传输技术也将进行相应扩展。

标准化进展及建议

AI视频编码

• IEEE 1857.11：探索基于神经网络的高效图像视频编码方法，推动端到端编码标准制定。
• MPAI EVC/EEV：研究神经网络替代或优化传统编码工具，提高编码效率。
• AVS3智能编码平台ModAI：已更新至ModAI10.0，性能显著提升，支持虚拟参考帧和神经网络帧内预测等技术。

VR视频编码

• IEEE 1857.9：推动沉浸式视觉内容的高效编码工具标准化。
• MPEG VVC/H.266：支持360度、多视点等沉浸式内容编码。
• MPEG MIV：针对沉浸式六自由度（6DoF）视频，提升编码效率。
• AVS工作组：已制定VR视频编码标准，增强国产编解码器在3D视频市场的竞争力。

多视点视频编码

• ISO/IEC MPEG：推动多视点视频（MVV）、多视点加深度（MVD）和自由视点视频（FVV）的标准化。
• MVC、MV-HEVC、3D-HEVC：分别支持多视点视频的编码和重建，提升压缩效率和多视点处理能力。

面向机器的视频编码

• CDVS：支持图像检索和匹配，压缩效率高。
• CDVA：支持视频分析，采用VGG-16模型提取特征。
• VCM：支持多种机器视觉任务，兼顾人类视觉和隐私保护。
• DCM：面向更广泛的数据类型，包括点云、音频等，强调隐私保护和数据多样性。

总结与展望

• 视频语义编码技术将延伸至6DoF视频，包括体积视频、点云序列等。
• 预训练多模态大模型有望成为推动视频语义编码效率提升的新引擎。
• 随着AI技术的发展，视频语义编码将成为AIGC的基础核心技术，降低海量内容的传输和存储压力。
• 视频语义编码与数据压缩技术的融合，将实现“上万倍”压缩。
• 面向差异化任务需求，异构计算和云-边端架构将成为主流实现方式。
• 视频语义编码技术将推动视频业务的创新发展，并促进其标准化落地。

缩略语列表