Google首席工程师Debargha Mukherjee揭秘AV1的历史与三大创新工具

The VideoVerse

总结：

谷歌首席工程师Debargha Mukherjee回顾了AV1视频编解码器的发展历程。

Debargha Mukherjee和主持人讨论AV1历史 [ 00:00:13 ]

AV1起源于谷歌在2010年收购的On2 Technologies的VP8编解码器，随后谷歌将其开源并发布了VP9。
在VP9成功的基础上，包括Netflix、亚马逊、Facebook和微软在内的多家公司于2015年成立了开放媒体联盟（AOM）。
AOM整合了谷歌的VP10、思科的Thor和Mozilla的Dala项目，最终于2018年中期发布了AV1，其压缩效率比VP9提高了约30%。
AV1引入了多项创新工具，主要集中在三个领域：
1. 环内滤波管道：包括CDEF（约束方向增强滤波器）、可分离的维纳滤波器和导向滤波器，支持内置超分辨率，显著提升了视频质量。
2. 屏幕内容编码工具：如调色板模式、帧内块复制和恒等变换，优化了屏幕共享和图形内容的编码效率。这些工具被集成到主配置文件中，便于硬件实现。
3. 复合预测模式：提供多种组合预测器的方法，如基于像素距离、参考帧距离或楔形模式的混合预测，进一步提升了编码增益。
Mukherjee强调，为准确评估新编解码器（如AV1），用户应深入了解其工具特性，并在结果不符预期时，直接咨询开发人员，以避免因配置不当导致的误判。

AV1的诞生与历史 [0:41]

On2 Technologies与WebM项目 [0:48]
- 2010年，谷歌收购了On2 Technologies，该公司拥有VP8编解码器。
- 谷歌将VP8开源，使其成为免版税编解码器，并启动了WebM项目。
- VP8至今仍在许多实时视频应用中广泛使用。
VP9的开发与普及 [1:21]
- 在VP8发布后，谷歌开始开发VP9，旨在与HEVC在同一时期（2012-2013年）发布。
- VP9取得了成功，YouTube从2013年起开始使用VP9进行流媒体传输。
- 在接下来的两三年里，VP9视频的日消费量达到数十亿。
开放媒体联盟(AOM)的成立 [2:14]
- 鉴于VP9的成功，谷歌开始考虑开发VP10。
- 其他在线视频公司（如Netflix、亚马逊、Facebook、微软）对该项目表现出强烈兴趣。
- 2015年，各方开始谈判，并于2015年末成立了行业联盟——开放媒体联盟（AOM）。
- 决定不再单独发布VP10，而是将其提案整合到AOM的第一个编解码器中，即AV1。
- 思科的Thor和Mozilla的Dala项目也加入了AV1的开发，共同目标是创建一个具有竞争力的免版税编解码器。
AV1的最终发布与性能 [3:44]
- AV1的开发工作于2016年初正式启动。
- 谷歌、思科、Mozilla、微软和Netflix等公司共同参与开发。
- 比特流于2018年中期最终定稿，比HEVC和VP9晚了大约五年。
- AV1实现了比VP9高约30%的压缩效率。
- 在当时，AV1是标准化编解码器中在紧凑性方面表现最佳的。

AV1的开发过程与团队协作 [4:46]

AOM的独特协作模式 [5:23]
- 与MPEG等传统标准组织不同，AOM不举行每三个月一次的异地会议。
- AOM团队主要通过每周例会进行沟通协作。
- 大约每六个月或一年举行一次两天左右的线下会议，用于讨论和解决悬而未决的提案或实验结果。
- 最初的开发流程不如MPEG结构化，但因此得以更快地推进，实现了AV1在VP9发布五年内完成的目标。
合作中的竞争与技术驱动 [6:44]
- 不同公司在同一代码领域提出提案时，会存在一定程度的良性竞争。
- 这种竞争促使各方不断改进提案，使其更快、更简洁。
- 最大的区别在于没有版税竞争，这消除了大量政治因素，使决策主要由技术讨论和技术原因驱动。
选择VP9+作为基础 [7:30]
- AV1开发初期，谷歌的VP10代码库（基于VP9）已准备就绪，且性能优于VP9（在编码效率上与HEVC相当，甚至更好10-15%）。
- Dala是一个图像编解码器，其代码库无法直接用于视频。
- Thor主要针对快速编码方案（如实时视频会议），但功能不如VP9丰富，无法很好地支持VOD应用。
- 因此，将VP9（经过某些修改，称为VP9+）作为AV1代码库的起始点是自然的选择。
- VP10、Thor和Mozilla的一些工具以及新工具被逐步整合到VP9+中。

AV1的三大创新工具 [9:26]

AV1的基本框架 [9:34]
- AV1仍然是一种混合运动补偿视频编解码器，遵循主流编解码器的传统范式，而非基于机器学习的新范式。
- 编解码器主要分为三个领域：预测、残差的变换与编码、以及环内滤波。
工具1：环内滤波管道 [11:00]
- AV1的环内滤波管道比当时的其它编解码器更为复杂和先进。
- 内置超分辨率：允许以低于原始源视频的分辨率进行编码（例如，1080p视频编码为720p），然后在环内滤波管道中进行上采样，并作为参考帧使用。
- 滤波流程：
  - 首先在编码分辨率下应用去块效应滤波（Deblocking）和约束方向增强滤波器（CDEF）。
  - CDEF（由思科和Mozilla共同开发）能够识别小块中的主导方向，并沿着该方向进行滤波，以增强细节。
  - 接着进行上采样以恢复到原始分辨率。
  - 最后，在全分辨率流上应用**环路恢复（Loop Restoration）**工具。
    - 维纳滤波器（Wiener Filter）：在每个帧的基础上学习滤波器参数，并通过比特流发送给解码器，使重建帧更接近原始源。AV1使用一种更简单的可分离维纳滤波器。
    - 导向滤波器（Guided Filter）：也可与维纳滤波器并行使用。导向滤波器此前多用于计算机视觉应用，首次被用于视频编解码器中。
- AV1在环内滤波领域推动了技术前沿，将维纳滤波器等“机器学习”元素引入到编解码器中。
工具2：屏幕内容编码工具 [18:24]
- AV1是第一个将屏幕内容编码工具作为主配置文件一部分的编解码器，这意味着任何符合AV1标准的硬件解码器都必须支持这些功能，便于实时通信（RTC）应用中的屏幕共享。
- 调色板模式（Palette Mode）：适用于具有少量颜色的块（如文本或图形），通过发送颜色列表和像素掩码来表示，比传统编码方案更高效。
- 帧内块复制（Intra Block Copy）：允许在当前帧内复制块，对于纯屏幕内容非常有效。HEVC中也有类似扩展，但AV1将其纳入主配置文件，更利于硬件支持。
- 恒等变换（Identity Transform）：对于具有锐利边缘的内容，可以绕过传统变换，直接编码像素差异（残差），从而更高效地处理均匀区域和局部变化。
- 这些工具主要提高了带宽效率。
工具3：复合预测模式 [26:18]
- AV1在预测模式方面，尤其在复合模式上进行了大量优化。
- 复合预测（Compound Prediction）：通过组合两个不同的预测器来创建一个新的预测器。
  - 简单平均：最简单的形式是平均前向和后向预测器。
  - 基于像素或参考距离组合：根据像素的接近程度或参考帧的距离进行组合。
  - 楔形模式（Wedge Mode）：在一个块内通过一条直线将区域划分为两部分，对每一部分使用不同的预测器，并在边缘进行平滑混合。这在AV1中是一个全新的工具。
  - 帧间-帧内模式（Inter-Intra Modes）：结合帧间（Inter）和帧内（Intra）预测器，例如楔形模式的一侧使用帧内预测，另一侧使用帧间预测。
  - 帧间-帧内平滑预测器（Inter-Intra Smooth Predictor）：从帧内边界开始，逐步混合帧内和帧间预测的权重。
- 这些复合预测模式单独提供小的编码增益，但作为一个整体工具包，它们带来了显著的提升。
- 它们也推动了硬件的发展，以支持更复杂的预测处理，为未来的编解码器奠定了基础。

AV1的实际应用与评估建议 [29:46]

编解码器性能与发布后的优化 [31:06]
- AV1在2018年发布时，其编码器速度相对较慢（比HEVC慢数千倍），这导致了早期的负面评价。
- 然而，在短短几个月内，编码器性能得到了大幅提升，足以被YouTube等大型平台采用。
- 早期关于性能不佳的错误印象有时会持续存在。
正确评估新编解码器的建议 [32:27]
- 当探索新的编解码器（如AV1、HEVC或VVC）时，如果测试结果与预期不符或性能表现不佳，最佳做法是直接联系软件开发团队。
- 开发者可以帮助识别配置错误（例如，无意中关闭了乱序编码等重要参数）。
- 避免基于不当配置的测试结果对编解码器做出快速判断。
- AV1的文档和代码库自发布以来已大大改进，提供了更多信息来帮助用户正确使用。
多编解码器世界的趋势 [24:26]
- 尽管行业内普遍希望实现“一统天下”的单一编解码器，但现实是一个多编解码器并存的世界。
- 对于像SVOD（订阅视频点播）服务，由于内容数量相对较少且价值较高，可能可以承担较高的计算成本来实现高质量编码。
- 然而，对于需要支持多种应用场景的平台（如YouTube），可能需要根据具体用例（如VOD与实时通信RTC）部署不同的编解码器。
- 芯片组通常也会支持多种编解码器，并且可以通过共享底层基础设施来优化资源使用。