Debargha Mukherjee解读AV2：下一代编解码器的目标、工具与挑战

The VideoVerse

介绍与AVM项目概述 [00:00:00]

• 主持人介绍 [00:00:16]

  

  Zoe 来自 Visionular，担任本期节目的主持人。
• co-host 介绍 [00:00:23]

  

  Krishna 来自 Visionular 班加罗尔，担任本期节目的联合主持人。
• 嘉宾介绍 [00:01:25]

  

  • Debargha Mukherjee，Google首席工程师，拥有14年Google工作经验，专注于视频压缩。
  • 曾参与YouTube转码、VP9和AV1的开发。
  • 目前正致力于Alliance for Open Media (AOM) 的下一代编解码器AVM项目。
• AVM项目启动与目标 [00:02:46]
  • AV1于2018年发布，AVM项目（Alliance for Open Media Video Model，即AV2）自2020/2021年开始研发。
  • 目标是实现下一代压缩水平，但同时非常关注解码器侧的复杂性，因为编解码器依赖于ASIC，而移动芯片组上的硅面积有限，无法支持过于复杂的工具。
  • 目标是开发能在各种移动芯片组和设备上轻松部署的解码器，其复杂性不应比AV1增加太多。
  • 行业更看重特性支持和解码器复杂性，而非仅5-10%的编码效率差异。

AVM的测试条件与内容类型 [00:08:15]

• 共同测试条件 (CTC) 和测试集 [00:08:17]
  • AVM开发初期用了一年时间确定测试条件、视频分辨率和数量。
  • 目前的测试集偏重高分辨率视频：包含大量1080p视频和一些4K视频，而低于1080p（如720p、360p、480p）的视频数量较少。
  • 这意味着工具的采纳标准倾向于在1080p和4K分辨率下表现更好的工具。
• 内容类型分布 [00:11:29]
  • A1集 (4K)：包含高分辨率、高质量的4K视频内容。
  • HD集 (1080p)：
    • 自然内容集：约19-20个自然视频。
    • B1集：混合内容，部分是图形内容，非纯屏幕内容，如游戏内容，压缩难度大，耗时久。
  • B2集 (屏幕内容)：专门用于屏幕内容，如演示文稿、窗口移动等信息捕获。
  • AV2在这些测试集上的开发尤其重视远程图形和屏幕内容的应用。

AVM中的新工具与性能提升 [00:13:35]

• 现有工具的改进 [00:13:38]
  • 屏幕内容编码：AV1中的恒等变换的熵编码（Entropy Coding of Identity Transform）得到了显著改进，这极大地帮助了屏幕内容。
  • 块自适应加权预测 (BWP)：工具经过调整，在B2集（屏幕内容）上表现更好。
  • 循环滤波：一些循环滤波工具得到了改进。
  • 帧内块复制 (IBC)：已改进，现在可用于帧间预测，之前不可用。
• 性能提升 [00:14:21]
  • 屏幕内容（B2集）的编码效率改进比自然内容更多，目前已超过30%。
  • 自然内容编码效率比AV1提高约24-25%。
  • 合成内容（B1集，如游戏）的收益与自然内容相似。
• 新工具带来的主要收益 [00:22:12]
  • 帧间编码
    • 时间插值图像模式 (Temporal Interpolated Picture Modes)：通过从相邻参考帧投影运动场来创建中间帧，作为当前帧块的预测器，带来了显著收益（由Apple发起，其他公司也参与）。
    • 光流 (Optical Flow)：及其变体，利用光流约束和解码器侧的运动搜索来优化运动场，也带来了显著收益（约2%）。
    • 扭曲模式 (Warp Modes)：AV1中存在基础扭曲模式，AVM中得到了大幅改进，并变得更加主流。
  • 帧内编码
    • CFL (Chroma from Luma)：彩色从亮度，此工具也得到了改进。
    • 帧内二次变换 (Intra Secondary Transforms)：改进了帧内二次变换，现在更频繁地使用。
  • 分区 [00:25:34]
    • 更灵活的块分区方案：与AV1相比，AVM的块分区方案更加灵活，在帧间和帧内编码中均带来良好收益。
    • 半解耦分区 (Semi-decoupled Partitioning)：对于所有帧内编码，亮度和色度树在某个点之后可以分流，这带来了很好的收益。
    • 目前正在探索将这些概念扩展到帧间编码。
    • 分区是持续有收益的领域，解码器侧复杂性问题不大，但编码器侧的计算量较大，目前正尝试使用ML来确定最佳分区。

AI/ML在视频压缩中的应用与未来展望 [00:27:10]

• ML在编解码器中的整合 [00:27:10]
  • 在AI时代，很难忽视AI/ML在编解码器中的作用。
  • 学术界已证明全ML图像编解码器比传统标准（甚至VVC）效率更高。
  • 对于视频，全ML的优势尚不明确。
  • 混合模型：将ML集成到现有视频编解码器框架中（如循环内滤波in-loop filtering）是最直接获得收益的方式，大型ML模型可带来8-10%的收益。
• 硬件限制与挑战 [00:29:11]
  • 未来1-2年内发布的编解码器，解码器仍需是独立的ASIC。
  • 一个简单的ML循环内滤波模型（3-4%收益）可能需要与整个AV1解码器（8-10M门）相似的硅面积，导致硅面积翻倍而收益不成比例。
  • 因此，AVM的目标是2倍AV1解码器复杂性，实现40%的收益，这使得大型ML模型难以采纳。
  • 目前AVM正在探索非常小的ML网络（如600 MACs/像素），目标是带来1.5-2%的收益，使其与传统工具的权衡相似，从而有可能被采纳。
  • 尽管Google、Amazon等公司正在专注于ML工具的开发，但目前AVM尚未采纳任何ML工具。
• 传统编解码器中的复杂工具限制 [00:40:30]
  • 解码器复杂性限制：由于对解码器ASIC的严格限制，许多复杂工具（如模板匹配、忽略解析依赖性来提升预测）难以纳入标准。
  • 带宽限制：硬件对运动补偿的带宽非常敏感，需要小心控制为单个块进行预测所需的运动补偿操作数量。
• 并行化 [00:44:27]
  • 帧级并行化在AV1中已存在，并将在AV2中保留。
  • 块内并行化方面没有显著创新，硬件子组会审查每个工具的并行化能力，但没有引入能大幅提升并行化的新机制。
• 高层语法与新应用场景 [00:45:20]
  • 多视角视频 (Multiview)：Apple在Vision Pro发布后对多视角支持表现出强烈兴趣，并向AVM提出了相关提案（如不同的帧打包模式支持立体视频），这可能会成为AVM规范的一部分。
  • 其他新功能：
    • Alpha通道支持（视频）很可能实现。
    • 更高位深（最高16位）至少在帧内模式下可能得到支持。
    • 更好的无损编码模式（用于医疗图像或高质量视频存档）。
  • 这些功能主要通过调整高层语法来实现。
• 去色带 (Debanding) 和胶片颗粒 (Film Grain) [00:19:00] [00:50:02]
  • AV1中的胶片颗粒工具存在争议，因其是非符合性点，实现和测试存在困难。
  • AVM正在重新思考胶片颗粒，并考虑去色带技术。
  • 这些特性可能以可选的方式（通过码流传输信息，解码器可以选择是否使用）纳入，因为硬件团队倾向于在解码器后端的显示管线中处理这些问题。
  • 胶片颗粒被认为是更强的案例，因为它涉及艺术意图，需要解码器能还原其特性并有明确的符合性点。
• 视频压缩的未来趋势 [00:55:07]
  • AVM之后的下一代编解码器（2030-2032年左右）很可能会采用ML的某种形式，可能是一种混合式（传统与ML结合）工具。
  • 随着分辨率的不断提高（如4K到8K，甚至16K），人类感知的极限可能意味着单纯的压缩效率提升变得不那么重要。
  • 未来的视频压缩需要新的、更大的应用场景来推动数据传输需求，从而为压缩技术带来新的生命力。
  • 技术和新应用将相互影响、共同演进。