AV1部署与测试：Vimeo如何处理HDR元数据并利用VMAF评估视频质量
总结：
本期播客深入探讨了AV1视频编码的部署、测试和质量评估。主要内容包括：
- 讨论了AV1中T35元数据的重要性，特别是其如何支持HDR视频，并指出虽然编码器能够提取多种HDR元数据，但兼容性仍需行业统一。
- 分享了Vimeo在AV1部署方面的策略，包括对高观看量视频进行AV1编码以实现成本效益，并强调了在用户上传视频中保留HDR信息的重要性。
- 详细介绍了视频质量评估工具VMAF（视频多方法评估融合）相比传统指标如PSNR的优势，VMAF通过结合多项指标和机器学习模型，更准确地反映人类感知质量，并能识别视频中的质量波动。
- 展望了AV1在低带宽环境下的应用潜力，并探讨了软硬件编码器的未来发展。
两位嘉宾在视频通话中讨论AV1技术 [ 00:00:30 ]
T35元数据与AV1中的HDR支持 [00:00:33]
- AV1对码流内元数据信令的支持 [00:00:42]
- AV1相比VP9的一大改进是增加了对码流内元数据信令的大量支持。
- 之前，元数据可以在容器中信令，但这与其它编解码器不符，且数据容易丢失。
- AV1明确增加了将各种颜色和HDR元数据添加到AV1码流中的功能。
- 静态和动态HDR元数据 [00:01:11]
- AV1现在可以编码简单的静态元数据，例如HDR10的颜色母版信息，以及所有其他所需的参数到码流中。
- 同时增加了T35元数据支持，T35是一种预先标准化的元数据形式，可以包含在任何视频码流中，并且与编解码器无关。
- T35元数据特别适用于插入动态HDR元数据，例如HDR10+，它会在帧中添加额外的T35消息。
- 有关于如何在AV1中实现HDR10+的标准规范（可通过搜索“HDR 10 plus av1 spec”找到）。
- HDR标准兼容性挑战 [00:02:15]
- 目前仍未能实现通用的HDR信息，以支持HDR10和杜比视界，无需担心不同设备（如Apple TV、电视）对HDR版本的支持问题。
- T35元数据与编解码器无关，可以与AV1、旧版编解码器等配合使用，一旦从编解码器中提取，数据可以直接通过HDMI发送到电视。
- 然而，T35元数据本身仍存在多种变体，如HDR10+和杜比视界，它们之间仍然不兼容。
- 尽管如此，HDR10+可以优雅地降级为HDR10，如果电视不支持动态元数据，它将使用静态元数据，并设计为可接受的降级效果。
- 解码器在HDR元数据处理中的作用 [00:03:57]
- 解码器的主要任务是从码流中提取元数据信息，并将这些元数据传递给最终渲染器。
- 渲染器将基于这些元数据进行色彩转换和处理，以便最终呈现视频。
- 例如，在使用AV1的David软件解码器时，有一个API可以请求特定帧的T35元数据，并将其与YUV帧缓冲区一起获取。
- 这些数据可以直接发送到显示设备，或者用于软件处理，如色调映射到SDR。
- 视频最终渲染前的所有色度转换步骤都将在元数据和图像数据的基础上完成。
- AV1对杜比视界的支持 [00:06:40]
- AV1技术上已经为杜比视界做好了准备，具备所需的所有功能。
- 由于杜比视界是杜比的格式，他们需要像HDR10+一样，指定杜比视界在AV1中的映射方式。
- 只要杜比愿意，所有条件都已就绪，他们只需编写一个简单的映射，即可实现杜比视界在AV1上的运行。
Vimeo的AV1部署策略 [00:08:35]
- Vimeo平台特性与挑战 [00:09:00]
- Vimeo主要是一个用户上传视频平台，拥有大量视频，其中大部分观看量相对较少。
- 与Netflix等视频收藏相对较小但观看量极高的平台不同，Vimeo需要确保AV1转码的成本效益。
- 转码成本相对于观看量的比例对Vimeo来说非常重要。
- AV1编码与内容选择 [0001:00:05]
- Vimeo目前使用Rav1e开源AV1编码器进行编码。
- 并非所有视频都进行AV1编码，目前主要针对“员工精选”视频和其他高观看量的视频进行编码，以确保获得投资回报。
- Vimeo正在考虑增加AV1编码的覆盖范围，包括实施AV1 HDR，不仅能改善压缩效果，还能让更多客户体验HDR内容，例如通过Web浏览器。
- 用户上传HDR视频的处理 [00:10:47]
- 随着iPhone等手机默认拍摄HDR视频，用户在不知情的情况下上传HDR内容的情况越来越多。
- 对于Vimeo而言，重要的是确保用户上传的HDR视频在播放时能保持其原始设备上的外观。
- 这意味着要么以HDR格式播放，要么在SDR设备上进行良好的色调映射。
- Vimeo拥有自己的色调映射系统，即使生成SDR码流，也会进行适当的色调映射，以确保视频在SDR屏幕上看起来与用户在HDR设备上看到的效果相似。
VMAF在视频质量评估中的应用 [00:11:51]
- VMAF简介及其与PSNR的对比 [00:12:26]
- VMAF（视频多方法评估融合）是衡量视频客观视觉质量的众多尝试之一。
- 传统的PSNR（峰值信噪比）通过比较原始视频和压缩视频的每个像素的均方误差来评估质量，计算简单且可重复。
- 然而，PSNR的缺点是与观看者的实际体验不符，因为它不考虑人类视觉系统对物体、纹理、运动等的感知。PSNR可能会给出误导性的质量结果。
- PSNR无法捕捉视频中时间维度上的质量问题，例如码率固定时关键帧造成的质量骤降现象（"quality pulsing"）。
- VMAF的工作原理与优势 [00:13:46]
- VMAF通过整合多个指标，包括一项关注运动的指标，并将所有分数与机器学习模型结合，生成最终分数。
- VMAF在预测人类感知质量方面表现最佳，与人类评估视频质量（如1到5分）的结果有很强的相关性。
- VMAF能够识别视频中的质量波动，因为它会比较相邻帧，从而捕捉到PSNR无法发现的视觉问题。
- libvmaf：开源实现与多指标支持 [00:16:09]
- libvmaf是VMAF的开源实现，Vimeo和其他许多机构都在使用。
- libvmaf不仅支持VMAF，还包含PSNR、SSIM、MS-SSIM等其他指标的实现，是一个方便的多合一库。
- 虽然VMAF计算较慢，但像MS-SSIM这样计算速度更快的指标可以作为替代，用于对大量视频进行快速评估。
- VMAF模型的演进与一致性 [00:19:11]
- VMAF是一个动态发展的工具，社区不断对其进行贡献和改进。
- VMAF内部有多个机器学习模型可供选择，通常人们提到VMAF时指的是VMAF 0.6.1模型。
- 早期的VMAF模型存在“盲点”，可以通过某些操作（如锐化）来“欺骗”VMAF分数，使其升高但视频质量并未实际改善。
- 为解决此问题，开发人员通过在训练模型中加入额外的失真，重新训练了名为“vmaf_neg”的模型，从而避免了这些“作弊”方式。
- 重要的是所有人都使用相同的参考实现（如libvmaf），以确保在比较不同工具时结果的一致性。