AI在视频编解码中的应用、挑战与未来趋势

The VideoVerse

引言与嘉宾介绍 [0:08]

• 本期播客首次邀请学术界人士讨论视频技术。
• 嘉宾介绍:
  • Zoe：播客主持人。

    

  • Thomas：播客联合主持人。

    

  • Maggie Zhu教授 [1:10]：普渡大学西拉法叶校区电子与计算机工程学院副教授。
    • 研究方向：图像处理、计算机视觉、视频压缩和数字健康。

      

    • 本期讨论主题：新兴领域——面向机器的编码（Coding for Machines）。
    • 传统上，多媒体信号主要为人类使用而压缩。
    • 随着机器到机器通信流量的增加，需要考虑为机器分析而优化数据压缩。
  • Zhihao Duan [1:01]：Maggie Zhu教授团队的三年级博士生。
    • 研究方向：编码与AI结合，包括“通过AI编码”和“为AI编码”。

      

• 团队成就：
  • 最近在WACV会议（1月初结束）上获得了最佳算法论文奖。
  • 在PCS会议（12月会议）上进入最佳论文前五名。
  • 这些论文都聚焦于将AI技术应用于视频和图像压缩。

AI在视频压缩中的三种应用 [0:06][1:00:54]

• 1. 为AI编码 (Codec for AI) [2:55][9:20]
  • 目标：设计专门为AI算法优化的数据编码算法，而非为人类视觉重建优化。
  • 传统编解码器（如JPEG、H.264、H.265、AV1）的目标是尽可能少地压缩视频比特，并像素级重建图像以获得良好视觉质量。
  • 现实场景：互联网上许多视频和图像数据传输是为了机器分析（如无人机拍摄视频用于后端对象识别），而非供人观看。
  • 在这种“为AI编码”的场景中，不再关心传统的PSNR等重建质量指标，而是更关注AI算法在后端分析结果的准确性。
• 2. 通过AI编码 (Codec with AI) [4:17][9:12]
  • 目标：利用AI技术提升或替换传统编解码器。
  • 传统编解码器基于变换编码（如离散余弦变换DCT、离散小波变换DWT），通过量化和编码频率系数实现压缩。
  • 挑战：传统编码涉及大量需要手动调整的参数，且高度依赖具体应用和内容，使得学习和优化过程复杂且耗时。
  • AI的帮助：AI技术（如机器学习）可以利用大规模数据集来学习数据特性，自动找到最优参数配置，从而减轻手动调优的负担。
  • 核心思想：压缩的本质是找到数据中的频率模式和不频率模式，并分配不同数量的比特，AI能够更好地学习这些模式。
• 3. AI模型本身的编码 (Codec of AI) [1:01:18]
  • 目标：压缩庞大的AI模型本身（即模型权重），以减少其存储和传输成本。
  • 这是一种新兴的研究方向，关注的不再是图像或视频数据，而是AI模型的结构和参数。

传统编解码器的局限性 [13:13]

• 高学习门槛与复杂性 [21:29]
  • 传统编解码器的文档通常非常冗长（例如H.266 VVC的参考软件文档超过50页），学习曲线陡峭。
  • 运行一个编解码器，即使是第一次，也需要数天时间来理解文档和配置。
• 难以进行核心算法创新 [22:30]
  • 在传统编解码框架（如基于块的变换）中，对核心组件（如变换算法）的微小改动，会引发下游所有模块（如信号传输、熵编码）的连锁反应，导致巨大的工程改造。
  • 这使得学术界难以将新的数学优化或算法创新整合到现有标准中，进行公平的基准测试（如BDP-PSNR）。
  • 这种复杂性导致部分研究人员感到“无望”，阻碍了学术界在编解码领域的先驱性工作。

AI编解码器的优势与挑战 [25:38]

• AI带来的潜在优势：

  • 简化架构与通用性 [25:56][37:14]
    • AI方法（如变分自编码器VSA）可以看作是传统变换编码的推广。
    • 传统变换是固定的矩阵，而AI可以通过学习自动优化参数（例如深度自编码器），从而简化了手动配置和调优过程。
    • 有望带来更简洁、更通用的未来编解码标准架构。
  • 渐进式解码 [44:35][49:34]
    • AI编解码器具有渐进式解码的特性。
    • 在非常低的比特率下，就能大致呈现图像或视频内容，这对于快速预览和低带宽传输至关重要。
    • 这种特性可以在带宽有限的情况下，提供较好的用户体验或机器识别效果。
  • 感知质量与内容理解 [47:32][49:00]
    • AI模型可以学习数据中的高级特征和内容，并进行合成重建。
    • 即使重建后的图像像素与原始图像不完全一致，但其感知质量可能很高，或者其中包含的关键信息足以供机器分析使用。
    • 这使得AI编解码能够跳出严格的像素级匹配限制，在某些应用中（如内容识别、图像生成）实现更高的压缩率和更佳的效果。

• 面临的挑战：

  • 高计算成本 [42:54]
    • 学习型编解码方法通常计算复杂，需要高性能硬件（如GPU）支持。
    • 例如，解码一张512x768的图片，在CPU上可能需要0.5秒，这在许多实时应用中是不可接受的。
    • 尽管如此，研究者相信未来硬件支持将能解决计算效率问题。
  • 评估指标的缺失 [46:47][51:06]
    • 传统的PSNR、SSIM等像素级评估指标可能不再适用于AI编解码，特别是在追求感知质量或机器分析准确性而非像素精确重建的场景。
    • 需要开发新的、更符合AI编解码目标（如机器可解释性、感知质量）的评估指标。
    • VMAF（Netflix提出，也利用机器学习）已成为广泛使用的感知质量指标，这表明评估指标本身也可以通过机器学习来改进。
  • 学术界与工业界的协同障碍 [1:40:02][27:10]
    • 学术界和工业界在目标、方法和会议活动上存在差异，导致沟通和技术转化困难。
    • 需要创造更多机会和平台，让双方共同讨论新兴技术，了解彼此的挑战，弥合鸿沟，共同推动标准化和实际部署。

研究成果与技术细节 [29:19]

• 获奖论文概述 [29:27][31:29]
  • 论文核心：探索压缩与生成模型（如变分自编码器 VAE）之间的关系。
  • VAE是一种能够学习数据分布的生成概率模型，其原理与压缩中的寻找数据模式异曲同工。
  • 目前研究主要集中于图像压缩，视频压缩由于时间域冗余更为复杂，正在进行中。
  • VAE通过将图像编码成“潜在变量”来近似表示，这些变量经过量化和熵编码后传输，解码器则利用这些变量生成图像。这与传统变换编码（如将图像变换到频率域）在概念上相似，但更具通用性。
  • 创新点：修改了VAE的配置（特别是后验和先验分布部分），使其能支持熵编码，从而实现端到端的有损压缩。
• 性能表现 [42:35]
  • 在图像编码方面，该方法在速率失真曲线上略优于H.266 VVC的参考软件VTM。
  • BD率（BD-rate）增益约为4%，意味着在相同质量下，文件大小可以减少4%。
  • 计算复杂性仍是挑战，目前解码一张图片在CPU上需要约0.5秒，编码则更慢。

学术界与工业界的合作 [1:50:02]

• 传统压缩研究曾被认为停滞不前，难以有突破性学术贡献，导致人才和资金吸引困难。
• 随着AI和机器学习的兴起，为压缩领域带来了新的希望。
• 需要更多人（包括来自不同领域的专家）共同投入到AI编解码的研究中，以解决核心技术挑战。
• 呼吁在高级别会议中设立研讨会或专题会议，吸引学术界和工业界共同探讨新兴领域，弥合鸿沟，共同推动标准化和实际部署。

未来展望 [59:26]

• AI在编解码领域的三个主要方向（为AI编码、通过AI编码、AI模型本身的编码）都极具潜力和前景。
• 这些技术可能需要5-20年才能在工业界发挥重要作用，但其未来影响深远。
• 期待未来会有统一的方法来处理编码/压缩和图像生成任务。
• 展望AI能够吸引更多不同领域的专业人才，共同解决编解码领域面临的复杂问题，加速其发展和实际应用。