基于+H.266_VVC+的移动平台+8K+超高清实时解码实践-王杰西_39页_21mb

基于 H.266/VVC 的移动平台 8K 超高清实时解码实践总结

核心内容

本文由字节跳动火山引擎多媒体实验室资深视频算法工程师王杰西撰写，主要探讨了基于 H.266/VVC 编码标准在移动平台上的 8K 超高清实时解码实践。文章详细介绍了 VVC 编码标准的技术特点、在超高清视频行业的应用前景、面临的挑战以及字节跳动在该领域的优化实践。

主要观点

超高清视频行业发展与 VVC 标准

• 超高清视频行业迅速发展，涵盖点播、直播、通话、VR/AR、云游戏等多个场景。
• VVC 编码标准（H.266）在压缩效率上显著优于 H.265/HEVC，能够有效降低码率，提高画质，满足高分辨率视频传输与播放的需求。
• 8K 视频对带宽、存储和终端解码能力提出了更高的要求，而 VVC 的引入为解决这些问题提供了新思路。

VVC 编码核心技术

• 块划分：支持更灵活的块划分形状与大小，提高了编码的适应性。
• 帧内预测：引入更精细的预测角度、加权平均计算、多行参考像素支持，提升预测精度。
• 帧间预测：支持基于历史信息的运动矢量预测（HMVP）、双向 MVD 编码（SMVD）、自适应 MVD（AMVR）、合并模式扩展（MMVD）、帧内/帧间预测融合（CIIP）等，进一步优化运动信息的压缩。
• 变换量化：支持多种变换核（如 DCT2、DCT8、DST7），并引入二次变换（LFNST）与依赖量化（DQ）技术，增强编码效率。
• 去块效应滤波（Deblocking）：支持更大块和更复杂的滤波强度/长度推导，提高图像质量。
• 自适应环路滤波（ALF）：基于维纳滤波，实现像素级的图像重建增强。

VVC 的优势与挑战

• 优势：相比 HEVC，VVC 能节省 30%~50% 的码率，尤其在特殊场景中可达到 70% 以上，适用于实时通信、会议、VR、云游戏等对画质和带宽敏感的场景。
• 挑战：
  • 编码复杂度相比 HEVC 增加 10 倍以上，需通过服务器优化来应对。
  • 格式、协议与生态尚未完善，存在自定义格式与协议的问题。
  • 当前缺乏硬件解码支持，主要依赖软件解码，对性能提出了更高要求。

关键信息

8K 视频播放体验对比

• 在 25Mbps 码率下，VVC 编码的 8K 视频播放流畅，而 AV1 编码则出现严重卡顿。
• 使用 BVC 解码器在 M1 芯片 Macbook Air 上进行解码测试，表现优于 AV1 解码器。

编码与解码码率对比

• 8K60P + H.264/AVC：100-200Mbps
• 8K60P + H.265/HEVC：50-80Mbps
• 8K60P + AV1：35-60Mbps
• 8K60P + H.266/VVC：25-40Mbps

解码器性能优化

• 性能瓶颈分析：主要集中在计算、判断与数据访问存储三方面。
• 优化方法论：
  • 计算优化：减少冗余计算、利用 SIMD 加速、优化算法结构。
  • 分支判断优化：避免不必要的判断、合理分流、使用查找表、提前处理大概率情况。
  • 访存优化：减少内存申请与释放、提高数据局部性、提升寄存器利用率。
  • 汇编优化：减少指令数、消除数据依赖、优化流水线使用、合理利用位宽。
  • GPU 异构并行优化：将计算密集型任务 offload 到 GPU，实现负载均衡与功耗优化。
  • 鲁棒性优化：定义多种错误码流类型，自动化生成错误数据，模拟播放器异常行为，提升系统容错能力。

BVC 解码器性能数据（iPhone 12，A14 处理器）

性能优化成果

• BVC 解码器在多线程环境下表现优异，尤其在 4 线程和 6 线程时达到较高帧率。
• GPU 优化后，ALF 模块解码速度提升 10%~30%。
• 通过优化算法和架构设计，BVC 解码器在中低端设备上也能实现流畅播放。

规划与展望

• 持续优化 BVC 解码器性能，覆盖更多中低端机型。
• 推动 GPU 异构计算在更多模块中的应用，提升功耗与性能。
• 优化延迟与线程模型，提升 RTC、云游戏等实时场景的用户体验。
• 实现 VVC 全部上层工具的兼容与支持，增强多场景适配能力。

结论

H.266/VVC 编码标准在超高清视频领域展现出巨大的潜力，尤其在降低码率、提升画质方面表现突出。然而，其高编码复杂度和缺乏硬件解码支持也带来了挑战。字节跳动火山引擎通过 BVC 解码器的优化实践，展示了在移动平台实现 VVC 实时解码的可能性，并为未来超高清视频的普及提供了技术支撑。