AOMedia 2025年网络研讨会：AV1和AV2的开放媒体标准与未来发展

Alliance for Open Media

总结：

本网络研讨会探讨了开放媒体联盟（AOMedia）的最新进展，重点介绍了AV1和即将推出的AV2视频编解码器。AOMedia汇聚了媒体生态系统中的内容、服务、软件和硬件提供商，共同开发免版税的视听媒体标准。

AV2作为AV1的继任者，预计在2025年底完成，目标是在相同感知质量下将带宽降低40%，同时将解码器复杂性控制在AV1的两倍以内。AV2引入了高度灵活的分块和变换分区、高效的帧内/帧间预测模式、先进的变换、改进的循环内滤波以及优化的屏幕内容编码工具。 AV1已在Meta、YouTube、Netflix和Vimeo等平台广泛部署，并获得技术艾美奖认可。行业专家讨论了AV1的成功经验，强调了dav1d解码器和SVT-AV1编码器的关键作用，SVT-AV1在功耗与压缩效率之间取得了卓越平衡。 展望未来，视频编码将融合轻量级机器学习模型与传统工具，并面临如何衡量生成式内容质量的新挑战。研讨会强调了开放标准、社区贡献和学术研究在推动未来媒体创新中的重要重要性。

AOMedia 简介 [00:00]

• AOMedia 是什么？ [00:38]
  • 一个旨在开发视听媒体标准的合作组织。 [00:41]
  • 成立于2015年的开放论坛。 [00:50]
  • 成员涵盖媒体生态系统中的内容、服务、软件和硬件提供商。 [00:57]

    

• AOMedia 如何运作？ [01:20]
  • 作为标准开发组织（SDO），设有技术工作组，包括视频编码、存储和传输格式、软件实现、体三维视觉媒体和音频编码。 [01:28]
  • 工作基于共识，定期举行线上和混合会议。 [01:44]
  • 规范在免版税专利政策下开发，并向公众免费提供。 [01:53]
  • 由工作组开发的软件在宽松的版权许可下提供。 [02:01]
• AOMedia 标准和项目 [02:13]
  • AV1：旗舰标准，荣获艾美奖。 [02:22]
  • AVIF：基于AV1的流行图像格式。 [02:35]
  • IAMF：沉浸式音频项目。 [02:41]
  • 软件项目：libaom，SVT-AV1（优化AV1编码器，荣获IBC创新奖）。 [02:47]
  • 未来工作：体三维媒体编码、静态多边形网格编码、AV2（预计2025年底发布）。 [03:03]

    

AV2 概述 [04:27]

• 数字视频编解码器的演变 [04:54]
  • 2000年代中期，互联网视频蓬勃发展，视频消耗了互联网带宽的75-80%。 [05:11]
  • 2010年，谷歌启动WebM项目，发布了VP8和VP9。 [05:34]
  • 2015年，AOMedia成立，2018年发布AV1。 [05:55]
  • AV2的开发始于2020年，计划于2025年底发布。 [06:20]

    

• AV2 开发要求 [07:37]
  • 在同等感知质量下，实现比AV1低约40%的带宽（PSNR目标低约30%）。 [07:44]
  • 解码器侧的复杂性和硅片面积不超过AV1的2倍。 [08:08]
• 前期工作阶段（2020-2021） [08:26]
  • 在编解码器工作组（CWG）内正式确定开发流程。 [08:30]
  • 成立了测试小组和孵化小组。 [08:43]
  • 选择libaom（开源AV1库）作为AOM视频模型（AVM）的代码库。 [09:09]
  • 在GitLab上设立代码库，并选举主席/联合主席。 [09:21]
• 技术开发（2021-2025） [09:38]
  • 许多新工具经过严格审查，以平衡硬件解码复杂性和编码增益。 [09:46]
  • 每四个月发布新的AVM版本，并进行感知测试。 [09:59]
  • 贡献公司：阿里巴巴、亚马逊、苹果、谷歌、英特尔、Meta、Netflix、英伟达、Oppo、三星、腾讯、Visionular（提供编码工具）。 [10:11]
  • 硬件/软件审查者：AMD、Broadcom、思科、LG、Realtek（提供关于可实现性和成本的反馈）。 [10:26]
  • AV2预计在2025年底完成最终确定。 [10:50]

    

• AV2 亮点 [10:59]
  • 主要编码工具： [11:01]
    • AV2采用传统的混合编解码器架构，但包含多种数据驱动工具。 [11:01]
    • 高度灵活的分块和变换分区方案。 [11:18]
    • 高效的帧内预测模式（如更好的亮度-色度分离、MHCCP、DIP）。 [11:23]
    • 高效的帧间预测模式（如光流、时间插值图像、各种扭曲模式）。 [11:34]
    • 高级变换（结合三角函数和数据驱动变换）。 [11:52]
    • 完全改进的循环内滤波管道（高级去块、结合预训练和显式信号的灵活维纳滤波器、交叉分量采样偏移、数据驱动的引导细节滤波器）。 [11:58]
    • 高度高效的屏幕内容编码工具。 [12:23]
  • 显著功能： [12:28]
    • 硬件高效设计（最小化计算、解析依赖、内存带宽、RAM/ROM存储，最大化吞吐量）。 [12:30]
    • 对屏幕/图形内容的效率远高于自然内容。 [12:44]
    • 在HLS中支持多层和多流功能（马赛克和沉浸式视频可扩展性）。 [12:50]
    • 无损编码性能相比AV1显著提高。 [13:02]
    • 胶片颗粒合成功能相比AV1大大改进。 [13:08]
    • 支持扩展色度格式，除了4:2:0，还包括4:2:2和4:4:4。 [13:14]
• AV2 性能 [13:25]
  • 当前状态： 最新锚定版本AVM-v11.0，几乎所有底层编码工具已最终确定，高级语法工作正在进行。 [13:28]
  • 客观指标（非屏幕内容）：
    • 随机访问情况下，PSNR和VMAF比修改后的AV1有超过30%的增益，与AV1相对于VP9发布时的性能提升水平相当。 [13:46]
  • 最新主观测试（谷歌内部，UHD内容）： 平均VMAF_MC_2增益约为38%，接近40%的目标。 [14:30]
  • AV2标准的最终确定预计在2025年底。 [15:03]

AV1 现状 [15:30]

• 编解码器推广阶段 [15:51]
  • 第一阶段：标准化——压缩效率、独特工具、规范和认证。 [16:01]
  • 第二阶段：生态系统支持——软件/硬件解码器、编码器供应商。 [16:16]
  • 第三阶段：产品化——设备认证、A/B测试、解码器生态系统。 [16:30]

    

• AV1：具有竞争优势的独特工具 [16:56]
  • 新一代编解码器通常比上一代好30%，AV1亦是如此。 [17:01]
  • 胶片颗粒合成： 通过高效信令在解码器端重新生成胶片颗粒，为此类内容节省30%以上的比特率，同时提高视觉质量。 [17:16]
  • S-帧： 在自适应流媒体场景中实现高效流切换和错误恢复，无需承担关键帧的开销。 [17:37]
  • 参考图片重采样： 在无需发送新关键帧的情况下，实现组内自适应分辨率更改，提供高编码效率。 [17:50]
  • 主配置文件中的屏幕编码和可伸缩编码： 增强的屏幕编码和可伸缩编码工具包含在主配置文件中，而非扩展中，确保广泛的解码器支持。 [18:02]
• 生态系统支持：解码器、编码器、软件、硬件 [18:28]
  • 软件和大屏设备： [18:32]
    • dav1d：由VideoLan和FFmpeg开发的开源、跨平台AV1解码器，即使在低端硬件上也能提供出色的性能。它是Chrome和Firefox的默认AV1解码器，并可集成到Android。针对x86和ARM平台上的10位解码进行了优化。 [18:38]
    • 大屏设备（电视、机顶盒、流媒体棒）的硬件解码器支持已普遍存在。 [19:15]
    • 2021-2025年期间，提交Netflix认证的设备中，88%拥有AV1解码器，大多数支持4K@60fps。 [19:25]
    • 自2023年以来，几乎所有Netflix认证的设备都具备AV1硬件解码能力。 [19:46]
    • 从2025年Netflix NRDP开始，所有设备必须支持AV1。 [19:53]
  • 移动设备： [20:09]
    • 从iPhone 15 Pro/iPhone 16开始，所有iPhone都支持HW AV1解码。 [20:11]
    • 大多数高端安卓SoC（如三星Exynos、高通、联发科、谷歌Tensor）现在都支持HW AV1解码。 [20:16]
    • 中端AV1硬件解码器的普及预计到2026年将增加。 [20:30]
    • 中低端设备（特别是带有A55级ARM V8核心的设备）可以通过高性能的软件AV1解码器（如Moto e13与Unisoc T606 SoC）提供AV1服务。 [20:43]
    • SVT-AV1的“快速解码”编码器设置允许在功耗受限的设备上进行高效的软件解码，同时提供显著的压缩效率。 [21:17]

      

  • 编码器和供应商支持： [21:28]
    • Allegro DVT：提供可授权的AV1编码器和解码器IP核心，支持8-bit 4:2:0到12-bit 4:4:4的所有配置文件，用于自动驾驶汽车和监控等产品。 [21:31]
    • Ateme：AV1编码器已应用于其Titan Video Encoding和NEA OTT交付产品。 [21:46]
    • Bitmovin：AV1编码器完全集成到其VOD工作流程中，在相同质量下比特率比HEVC降低30%，比H.264/AVC降低50%。 [21:49]
    • Chips&Media：WAVE6和WAVE6 Gen2+系列硬件视频编解码器IP支持高达8K60的AV1编码和解码，适用于自动驾驶汽车、无人机、AR/VR等应用。 [21:56]
    • Ittiam Systems THINKode：AV1智能内容自适应编码解决方案比以前的产品比特率降低30%。 [22:07]
    • NETINT：AV1功能的Quarda VPU硬件在低于20W的功耗下提供超高性能编码，同时在较低比特率下保持更好的视频质量。 [22:18]
    • Synamedia：AV1集成到vDCM（Synamedia的数字内容管理器）中，广泛部署用于直播视频压缩。 [22:24]
    • Visionular：Aurora1 AV1编码器支持1080p 30fps+超低延迟和实时视频编码，即使在150 kbps下也能提供良好的视频质量。 [22:28]
• AV1：功耗-压缩效率的权衡 [22:30]
  • 在相同功耗下，高性能的AV1（SVT-AV1）可以比x264减少40%的比特，比x265减少30%的比特。 [22:36]

    

• AV1/AVIF 部署和成功案例 [23:07]
  • Meta： 70%以上的全球Meta观看时长（包括Facebook和Instagram视频）使用AV1，WhatsApp、Messenger和Instagram Direct的视频通话也使用AV1。利用SVT-AV1的“快速解码”模式将解码复杂度降低了25%。 [23:14]
  • Agora： 将AV1用于其实时沉浸式PaaS产品。其编码器复杂度仅为x264的75%，同时实现42%以上的比特率降低。 [23:29]
  • YouTube： 超过1/3的客厅观看时长使用AV1，75%以上的加权观看时长目录以AV1提供。2025年开始，流行的直播流也使用AV1。 [23:40]
  • Vimeo： 自2019年以来，“员工精选”频道中的所有视频都使用AV1，80%以上的图片查看使用AVIF（如缩略图）。 [23:55]
  • Netflix： 100%的SDR VOD标题目录已覆盖AV1。目前是第二大使用的编解码器（仅次于HEVC），预计明年将成为所有Netflix应用程序中最主要的流媒体配置文件。正在积极将AV1应用于广告、直播和云游戏场景。 [24:06]
  • Microsoft： 自2023年起，Microsoft在视频会议中使用AV1。Microsoft Teams在屏幕共享时实现了更清晰的文本和更流畅的滚动，比特率比H.264降低了63%。 [24:27]
• AV1：投资回报率 [24:49]
  • 质量提升： Meta的FB-MOS提高0.6，Netflix的VMAF提高10点，4K流媒体时长增加5%。 [24:59]
  • 比特率降低： Meta在相同质量下比特率降低48%-65%，Netflix的AV1 FGS在颗粒感强的标题上额外降低31%。 [25:03]
  • QoE（用户体验质量）提升： Netflix的播放延迟降低2-10%，重新缓冲率降低10%，播放错误减少。 [25:07]
  • 网络使用效率更高。 [25:24]
• 行业认可 [25:30]
  • SVT-AV1在IBC奖项中荣获“最佳创新奖”。 [25:41]
  • AV1编解码器荣获技术艾美奖。 [25:48]

    

开放媒体标准小组讨论 [26:11]

• 小组成员介绍 [26:11]
  • Adrian Grange (Google，高级技术项目经理)： 曾主持AV1开发，联合主持AV2开发。 [26:28]
  • Anush Moorthy (Netflix，工程主管)： 负责Netflix的视频算法和媒体系统团队，包括视频的检查、压缩和质量评估。 [27:14]
  • Hassene Tmar (Meta，技术项目经理)： 支持Meta的媒体基础团队，负责Meta所有应用程序的视频处理，参与AV1的发布和Meta可扩展视频处理器（ASIC编码器）的开发。曾在Intel参与SVT-AV1的初始开发。 [28:35]
  • Debargh Mukherjee (Google，首席工程师)： 曾领导AV1和AV2的开发，并参与VP9的开发。 [29:54]

    

• AV1 里程碑与演进 [30:48]
  • 早期开发挑战： 2015年从零开始建立流程，这是最初的巨大挑战。 [31:31]
  • 关键成功因素： dav1d解码器的发布至关重要，它是一个高质量、易于部署的解码器。同时，拥有一个合理且不断成熟的编码器（如SVT-AV1）也至关重要。最终，硬件的普及推动了AV1的成功。 [32:46]
  • SVT-AV1的贡献： SVT-AV1是一个产品驱动的编码器，旨在覆盖VOD、直播、RTC和图像等多种用例。它的核心目标是在不显著增加复杂性的前提下，实现AV1的压缩增益。SVT-AV1的优化关注了解码复杂性与编码器性能的平衡。 [34:25]
  • AV1 HDR支持： Netflix已在其VOD目录中提供AV1 HDR10+内容，目前正致力于编码优化，预计明年将大规模推广。 [37:41]
  • AV1开发加速： AV1的开发速度快（2015年末至2018年，仅两年半），得益于整合了VP10（Google）、Thor（思科和Mozilla）和Dala（Mozilla）中高性能的编码工具。初期流程相对不那么正式，反而有助于加快开发。 [38:43]
  • AV2吸取的经验教训：
    • 改进了文档管理系统和工作组流程，使其更正式、更公平地评估工具。 [40:00]
    • 通过与Argan Design合作，持续验证规范与参考代码的一致性，确保了核心算法的稳定性和无重大错误。 [41:39]
    • 从开发之初就强调硬件输入和复杂度测量。 [42:48]
    • 项目分为研究阶段和规范阶段，以更好地管理新工具的探索和整合。 [43:32]
    • 提供了开源测试流，并从一开始就将dav1d解码器公开。 [44:33]
• AV2 能力 [48:27]
  • Debargh最喜欢的功能：
    • 屏幕内容和图形编码工具的巨大改进，可实现比AV1高出近50%的效率。 [48:50]
    • 多流和多视图功能，能够支持马赛克和沉浸式视频等新应用。 [49:14]
  • Anush最喜欢的功能：
    • Alpha视频支持，如果能成为主配置文件中的规范性工具，将确保所有解码器从第一天起就支持，极大简化部署。 [49:37]
  • Adrian最喜欢的功能：
    • 多流功能，允许有效编码子流，每个子流都是一个可解码的比特流，用于在一个主屏幕上同时显示多个视频内容（如体育赛事马赛克视图）。 [50:10]
  • Hassene最喜欢的功能：
    • 参考图片重采样，允许在不插入关键帧的情况下，在比特流中动态改变分辨率，这对于应对网络问题和优化设备上的软件解码至关重要，能显著提升用户体验。 [51:41]
• 视频编码的未来（AV3及以后） [56:09]
  • 传统编解码器的局限性： 混合编码模型（预测+变换/DCT）已存在40年，从该技术中获取额外效率变得越来越困难。 [56:41]
  • 机器学习（ML）的潜力：
    • ML被视为未来方向。 [57:47]
    • 可能采用AV2/AV1作为基础层，结合ML增强层。 [57:57]
    • ML有助于向基于软件的解决方案发展，克服高分辨率下ASIC硬件加速的局限性。 [58:07]
    • 挑战： 视频ML需要极高速度，现有ML技术尚无法满足。GPU/CPU与ML模块之间的往返时间复杂。需要针对视频的轻量级ML模型，而目前研究多集中于图像的大型模型。 [58:53]
    • 轻量级ML模型与传统工具相结合，可能成为一个非常有益的领域。 [1:04:09]
  • 重新审视视频编码问题： 需要跳出现有DCT编解码器的思维框架，从头开始重新构想视频编码问题，探索机器学习之外的其他潜在解决方案。 [59:57]
  • 内容感知编码： 将“黑盒”扩展到包括内容本身的特征，并针对特定视频制定解决方案，这可能是一个结合现有编码工具和ML的方法，而非100%端到端ML。 [1:01:36]
  • 生态系统因素： 视频编码的未来也取决于带宽（如全光子网络实现无限带宽）、存储成本和编码成本。只要这三个因素存在，视频编码就不会过时。 [1:07:51]
  • 新模式和用户习惯： 虚拟现实（VR）和增强现实（AR）应用将产生海量数据。生成式AI（Gen AI）可能改变比特流的本质（例如，仅发送文本提示而非编码视频，实现个性化体验）。 [1:08:47]
  • 质量评估指标： 对于生成式内容，需要将衡量标准从信号保真度转向感知相似度，这是未来媒体领域需要解决的关键问题。 [1:06:50]
  • 音频编码： AOMedia正在加大对音频编码的投入，特别是在沉浸式音频元数据（IAMF）方面。音频现在在带宽竞争中与视频并驾齐驱，需要创新的方法来优化核心音频编码。 [1:11:45]
• 学术界的作用 [1:16:58]
  • 学术界可以为行业讨论提供公正的观点，进行诚实的研究，并帮助评估新的方法和指标。 [1:17:28]
  • 鼓励会员公司赞助研究项目，与AOMedia成员合作。 [1:18:39]
  • 需要进行“蓝天研究”，即进行大量头脑风暴，提出解决视频编码问题的新思路，而不是仅仅在现有DCT技术上进行增量改进。 [1:21:26]
  • 学术界可以验证新的概念，即使这些概念在计算上非常昂贵，以证明其潜在的巨大增益。 [1:19:29]
  • 需要建立评估这些技术和工具的机制，因为学术界研究人员可能不总是具备成熟的软件工程背景。 [1:21:07]