Fraunhofer HHI专家解读VVC：新一代视频编码标准的通用性、实现挑战与开源实践
总结：
Fraunhofer HHI的Benjamin Bross和Adam Wiekowski讨论了通用视频编码(VVC/H.266)的开发及其行业影响：
- VVC旨在提供高度通用性，以满足不同应用的需求，包括高动态范围(HDR)、8K和360度视频，并在同等感知质量下实现50%的比特率节省。
- 与HEVC（H.265）相比，VVC的核心编码工具得到泛化和扩展，并通过单一“主10”配置文件覆盖多种应用，简化了硬件实现。
Benjamin Bross解释VVC在不同应用中的灵活性 [ 00:05:30 ] - 标准化过程面临复杂的平衡，学术界的创新（如基于神经网络的帧内预测）需适应硬件的成本和延迟限制，导致工具被简化以实现实际部署。
Adam Wiekowski解释分区算法的复杂性 [ 00:19:19 ] - Fraunhofer HHI开发了开源的VVenc编码器和VVdec解码器，旨在展现VVC的全部潜力，克服现有开源编码器未能完全体现标准性能的问题。
- VVenc在保持高编码效率的同时提供更快的编码速度，并且在各种比较中表现出色。
Adam Wiekowski解释VVenc的效率目标 [ 00:32:57 ] - VVC支持“开放GOP”流媒体，利用参考图像重采样实现码流内分辨率无缝切换，从而节省额外10-20%的比特率。
- 视频压缩技术对全球日常视频消费产生巨大影响，这种广泛的实际应用和持续的创新潜力是驱动研究与标准化的核心动力。
嘉宾介绍与VVC概览 [00:00:00]
- Fraunhofer HHI的视频编码系统组
- Benjamin Bross和Adam Wiekowski是Fraunhofer HHI视频编码系统组的负责人。
- 该团队专注于视频编码标准的实现，并在其中做出重要贡献，如H.265（HEVC）和H.266（VVC）。
- VVC作为HEVC的演进
- VVC（Versatile Video Coding）是继HEVC之后最新的MPEG视频编码标准，于2020年最终定稿。
- VVC并非革命性的改变，而是对HEVC核心混合编码架构的进一步演进，对预测、变换和熵编码工具进行了泛化和扩展，使其更加复杂但高效。
- VVC的核心理念：“通用性”
- VVC的设计目标是提供高度“通用性”，即广泛支持各种应用场景。
- 这包括传统的编码效率提升（例如在相同感知质量下节省50%的比特率），以及高效编码HDR、8K、360度视频（用于VR/AR应用）的能力。
- VVC还改进了低延迟流媒体支持，通过修改高层语法来促进传输。
- 引入了参考图像重采样功能，允许在码流内部进行分辨率切换，这对于多分辨率自适应流媒体（开放GOP）非常有利。
VVC的关键特性与优势 [00:05:00]
- 编码效率提升
- VVC的目标是在HEVC的基础上进一步提高编码效率，例如在相同感知质量下节省约50%的比特率。
- 多应用场景支持
- VVC特别关注对高保真视频（如HDR、8K视频）和新兴应用（如VR/AR的360度视频）的有效支持。
- 它还支持低延迟流媒体，并通过修改高级语法来简化低延迟传输。
- 单一主配置文件策略
- VVC的一大优势在于其大多数功能（包括8K、屏幕内容编码、高效流媒体、低延迟等）都集成在“主10”配置文件中。
- 这与HEVC不同，HEVC为不同的应用（如屏幕内容编码）引入了单独的配置文件，导致现有解码器可能不支持这些新功能。
- VVC的这一设计使得解码器只需支持一个主流配置文件即可覆盖广泛的应用，简化了硬件实现和部署。
- 唯一的额外配置文件用于可伸缩性。
- 自适应流媒体功能：参考图像重采样与开放GOP
- 参考图像重采样(Reference Picture Resampling, RPR)是一项新功能，允许在不中断码流的情况下进行分辨率切换。
- 结合“开放GOP”(Open GOP)概念，VVC使得自适应流媒体更加高效和流畅。
- 在DASH流媒体中，客户端可以根据网络状况在不同分辨率的表示之间切换，而无需插入昂贵的I帧来重启预测。
- 通过约束编码（例如在切换点不使用某些工具），可以避免编码器-解码器之间的漂移，从而实现平滑的质量过渡，并节省10-20%的比特率。
标准化挑战与AI在编解码器中的应用 [00:09:00]
- 学术理论与硬件实现之间的权衡
- 视频编码标准的开发是一个妥协的过程，需要在学术界提出的复杂高效算法与硬件实现者的成本、内存和延迟限制之间找到平衡。
- 标准化会议通常会进行长时间的讨论，以确保最终方案在性能和可实现性之间达到最优。
- 神经网络帧内预测的案例
- 在VVC开发过程中，Fraunhofer HHI曾提出一种基于神经网络的帧内预测工具。
- 该工具最初显示出约4%的比特率节省，这在当前编解码器中是一个显著的提升。
- 然而，硬件实现者认为块级神经网络带来了过高的复杂性、内存消耗和解码延迟，难以在芯片上实现。
- 最终，该工具被简化为一种数据驱动的矩阵乘法形式，虽然比特率节省降至1%，但大幅降低了硬件实现的复杂性，使其得以纳入标准。
- 编码器复杂性与分区算法
- VVC的参考软件(VTM)的编码速度是HEVC参考软件(HM)的8倍慢，即使已经包含了许多早期终止模式。
- 这是因为VVC在分区方面提供了更多种类的分割方式，理论上所有可能的组合都难以计算。
- 编码器需要快速搜索算法来找到最优分区，甚至需要一些捷径。
- AI在编码优化中的潜力与挑战
- 尽管在VVC标准内部直接使用复杂神经网络面临挑战，但AI在编码器优化方面仍有巨大潜力。
- 例如，AI可以用于减少编码器搜索空间，以加快编码速度。
- 挑战在于需要生成“真实最优”分区数据来训练神经网络，而这本身就极其复杂且耗时，形成了一个“先有鸡还是先有蛋”的问题。
- 此外，对于运动补偿编码，建模时间依赖性对于AI来说也是一个非常困难的问题。
VVenc与VVdec：开源编码器与解码器 [00:27:40]
- 开发VVenc的动机
- Fraunhofer HHI开发了开源的VVenc编码器和VVdec解码器，旨在推动VVC的部署并准确展示该标准的全部潜力。
- 过去，像x265这样的HEVC开源编码器虽然广泛使用，但未能完全发挥HEVC的全部性能，这导致人们对标准潜力产生误解。
- 通过提供一个高性能的开源实现，Fraunhofer HHI希望确保VVC的优势被充分认识和利用。
- VVenc的性能目标
- VVenc的目标是保持VVC参考软件的高编码效率，同时提供可用的编码运行时间（例如每秒几帧，适合离线编码）。
- VVenc致力于在相同的运行时间和资源利用率下，比其他开源编码器提供更好的效率。
- 无论是在速度还是编码效率方面，VVenc在现有比较中始终表现最佳。
- 编码器与解码器复杂度的权衡
- VVC的解码器复杂度大约是HEVC的两倍，但编码效率提升可以弥补这一复杂性增长。
- 在视频点播等应用场景中，视频只需编码一次，但会被数百万次播放。在这种情况下，宁愿在编码器端花费更多时间和计算资源来降低解码器端的复杂性和功耗，从而实现整体能效的优化。
- 编码器可以通过选择某些编码模式来影响解码器的复杂性，例如，使用更多隐式模式可以减少解码器的计算量。
- 实际应用与互操作性
- VVdec解码器已被集成到Android的ExoPlayer等主流播放器中，并能与现有工具（如FFmpeg）结合使用，以生成兼容DASH流媒体的比特流。
- 这证明了VVC的通用性和互操作性，使其能够被实际应用和集成到各种设备和软件框架中。
视频压缩的意义与未来展望 [00:52:00]
- 视频的无处不在及其全球影响力
- 视频已成为日常生活中无处不在的一部分，从短信中的动态照片到社交媒体上的短视频。
- 即使是微小的比特率节省，在如此巨大的全球使用规模下，也能产生巨大的累积效应，对数据传输和存储产生积极影响。
- 持续研究与创新的动力
- 视频编解码器开发是一个充满挑战和乐趣的领域，每个标准都有其独特的探索空间。
- 作为研究机构，Fraunhofer HHI在标准开发中积累了丰富的经验，并发表了大量研究成果，这本身就是重要的研究项目。
- 团队协作与经验传承
- 拥有像H.264 CABAC熵编码器发明者这样的经验丰富的同事在身边，为团队提供了宝贵的知识和支持。
- 看到开发的编解码器和开源工具（VVenc、VVdec）被实际使用并集成到全球系统中，是团队最大的动力和成就感来源。
- 尽管视频传输仍面临挑战（如偶尔的质量不佳），但视频压缩技术的不断进步致力于为全球用户提供最佳的视频体验。