解密VMAF：Netflix视频编解码与质量团队负责人李志分享VMAF的起源、发展、应用及视频编码的未来
总结：
本期节目深入探讨了Netflix视频质量指标VMAF。
- VMAF概述：Netflix视频编解码与质量团队负责人李志介绍了VMAF作为视频质量评估工具的起源、开发历程及其在Netflix内部编码流程中的关键作用。
- Netflix的编码策略：视频内容专业制作后仅编码一次，但会进行数百万次流式传输，这种不对称性使得Netflix可以投入大量资源进行编码优化，以提供最佳用户体验。
- VMAF的组成与优势：VMAF的核心是基于人类视觉系统模型的特征，辅以机器学习进行融合。它旨在预测人类感知质量，而非单纯测量信号失真，因此在评估内容增强效果方面比传统指标（如PSNR）更具优势。
- 挑战与未来：讨论了电影颗粒感和色带效应等编码挑战，以及Netflix通过抖动等技术来改进编码的努力。面对生成式AI的兴起，视频编码的未来方向在于如何在尊重创作者意图的同时，探索新的压缩范式，并兼顾计算效率和可持续性。
- VMAF的演进：VMAF不断发展，推出了针对特定观看条件（如手机）和纯粹编解码器评估（VMAF_NEG）的模型，以适应不断变化的需求。
引言与嘉宾介绍 [00:00:00]
- 欢迎语
- 节目在普渡大学的视频和图像处理实验室（VOR Lab）进行。
主持人Zoe教授 [ 00:00:27 ]
- 节目在普渡大学的视频和图像处理实验室（VOR Lab）进行。
- 嘉宾介绍 [00:00:58]
- 李志是Netflix编码技术团队的负责人。
Netflix编码技术团队负责人李志 [ 00:01:16 ] - 他的团队主要负责：
- 编解码器: 致力于下一代免版税编解码器（代号为AV2，官方名称为AVM），并积极推动AV1的普及。
- 视频编码指标: 积极开发和维护VMAF（一个开源项目，在Netflix内部广泛使用），以及CANI（一个预测色带伪影的指标）。
- 优化Netflix视频编码流程: 旨在为终端用户提供最佳的端到端视频质量体验。
- 个人背景: 毕业于新加坡国立大学（学士和硕士），斯坦福大学博士（导师为Bernd Girod教授），曾在思科工作两年。
- 联合主持人Thomas
联合主持人Thomas [ 00:00:49 ]
- 李志是Netflix编码技术团队的负责人。
Netflix的编码策略与挑战 [00:14:35]
- Netflix内容编码的独特性 [00:14:41]
- 相对于YouTube或Meta，Netflix的目录规模较小。
- 内容是专业制作的，通常只编码一次，但会被数百万次流式传输。
- 这种编码与解码之间的“不对称性”使得Netflix可以投入大量资源来优化编码，分摊到每次流式传输上的成本相对较低。
- 优化编码链 [00:15:42]
- 优化方式可理解为“循环外”优化，如两遍编码。
- 通过算法分析内容，在不同粒度进行资源分配：
- 按内容类型（如不同体裁的电影和电视剧）。
- 按标题（分析每部电影/电视剧的复杂性）。
- 按镜头（将每个镜头视为一个同质单元进行优化）。
- 这本质上是一个受约束的优化问题，目标是根据特定指标（如VMAF）进行优化。
- 处理电影颗粒感和色带效应 [00:06:56]
- 电影颗粒感保留: 这是Netflix保持高视频质量的首要任务之一，以保留创作者的意图。
- 色带效应: 尤其是对专业生成内容而言，是一个臭名昭著的问题，在低环境光、低反射的家庭影院设置中尤为明显。
- 即使使用10比特编码，色带效应也无法完全消除，8比特编码则更明显。
- 解决方案: 通过“抖动”（dithering）技术引入随机噪声，人眼会将其视为低通滤波器，感知为中间灰度，从而有效解决色带问题，并希望将其纳入下一代编解码器。
VMAF的起源与演进 [00:23:29]
- VMAF的诞生背景 [00:23:31]
- 始于2013-2014年与南加州大学J. Qu团队的大学合作项目。
- 最初的动机: 需要一种自动化方式来大规模评估每条视频流的质量。
- 传统指标的局限性: 简单的PSNR无法跨内容进行质量比较，缺乏一致的质量阈值概念。
- 早期发展: 经过两年完善，Netflix于2016年发布了首个开源版本。
- 持续改进: 获得了德克萨斯大学奥斯汀分校和法国南特大学等合作者的帮助。
- VMAF的核心算法与稳定性 [00:27:28]
- 2017年发布的算法版本至今保持稳定，旨在促进广泛采用。
- VMAF的构成: 约70%的预测能力来自建模人类视觉系统的基本特征（如VIF和DLM），30%归因于机器学习模型，主要用于确定时间特征（运动）的权重。
- VMAF是一个基于心理视觉的模型，其构建基础是数百年来人类视觉研究的成果。
- VMAF的增强与新模型 [00:28:10]
- 可观测性工具: 增加了预测置信区间的量化功能。
- 局部解释器（Local Explainer）: 基于机器学习框架LIME，可对黑盒模型（如SVM）的预测结果进行局部解释，揭示每个特征的权重。
- 适应不同观看条件:
- VMAF与增强效果: VMAF并非单纯的失真度量，它通过能量比的公式捕捉人类对感知质量的反应，例如适度的锐化可以提高感知质量和VMAF分数。然而，过度增强可能产生负面影响，这仍是VMAF未来版本需要改进的开放问题。
生成式AI与视频编码的未来展望 [00:44:06]
- 尊重创作意图 [00:50:11]
- 对于专业制作的内容，尊重艺术家的创作意图是Netflix的首要考量。
- 在视频处理过程中，如何平衡技术优化与创作意图的保留是一个开放且棘手的问题，尤其是在超分辨率等领域，细节可能需要“幻觉”（hallucinating）才能实现。
- 压缩技术的发展 [00:55:02]
- 随着计算能力（特别是GPU）的飞速发展，新的压缩方法将出现，甚至可能超越当前编码范式，例如“生成式压缩”领域。
- 源编码领域（与信道编码不同）的“率失真理论”虽然存在，但由于失真定义（多基于二次失真如PSNR）与人类视觉系统复杂性之间的差距，其上限尚不明确。
- 用户需求与可持续性 [01:00:40]
- 不断增长的用户需求: 人类对更好内容质量的渴望永无止境（从1080p到4K，再到HDR、高帧率等）。
- 可持续性挑战: 编解码器开发和视频分发需要消耗大量计算资源，因此必须关注能效和碳足迹。
- 未来的视频编解码器评估不仅将考虑比特率、质量、速度和延迟，还将重点关注计算效率和绿色能源。
- 3D视频、360度视频等新格式将带来更多机遇。
总结 [01:03:57]
- VMAF的成功在于它能有效地衡量和预测人类感知质量，并整合了心理视觉原理和机器学习，成为视频领域的重要客观质量评估指标。
- 未来视频编码的发展将围绕用户对更高质量的追求、计算资源的进步以及对可持续性的日益增长的关注展开。