GPU基准测试的局限性：引入动画错误度量标准以更好地反映游戏体验

Gamers Nexus

GPU基准测试的固有问题 [00:00:00]

• 传统指标的局限性 [00:01:45]
  • 现有的GPU和CPU游戏基准测试（如平均帧率、1%低帧率、0.1%低帧率和帧时间）难以准确捕捉玩家实际感受到的游戏体验。
  • 这些指标有助于发现卡顿和卡顿的存在，但未能精确解释其发生的原因。
  • 即使帧时间平稳，游戏也可能感觉不流畅，这通常归因于“动画错误”。

  • 

• 动画错误简介 [00:00:30]
  • 动画错误是一种新的度量方法，旨在量化帧显示与帧内动画时间戳之间的不匹配。
  • 它衡量的是画面中物体运动的平滑性和加速情况，是导致游戏感觉“糟糕”但现有数据无法解释的原因。
  • Intel曾称之为“模拟时间错误”，其核心是帧创建和显示之间节奏的错位。

  • 

动画错误的定义与感知 [00:05:08]

• 动画错误的类比 [00:05:12]
  • 可以将其想象成一本活页书，如果翻页速度不恒定（显示时间不一致），就会产生动画错误。

  • 

  • 如果页面上的图画本身就画错了（动画内容不准确），也会产生动画错误。

  • 

• 动画误差的本质 [00:05:40]
  • 并非指单个模型或NPC动画的错误，而是指整个帧序列的运动模拟误差。即使在静止画面中也可能存在动画错误。

  • 

  • 人类大脑对运动的平滑性和加速度非常敏感，即使是细微的加速或减速也能被感知为卡顿。

  • 

• 正向与负向误差 [00:07:55]
  • 当帧显示过晚时，误差为负。
  • 当帧显示过早时，误差为正。
  • 无论正负，偏离零值越远，体验越差。

  • 

  • 

基准测试实例：GTX 1080 Ti [00:08:29]

• 测试设置 [00:08:29]
  • 使用《孤岛惊魂5》和《奇异小队》对单张GTX 1080 Ti和两张GTX 1080 Ti SLI配置进行测试。

  • 

• 帧率与帧时间分析 [00:09:08]
  • 平均FPS、1%低帧率和0.1%低帧率显示，SLI配置通常提供更高的平均帧率。

  • 

  • 帧时间图显示SLI配置的帧时间波动较大，存在更多尖峰行为，表明不如单卡稳定，但不足以直接判定为“糟糕”体验。

  • 

• 动画错误揭示的问题 [00:12:41]
  • 动画错误散点图清晰显示，SLI配置每帧动画错误为2-3毫秒，而单卡通常远低于1毫秒。
  • 这表明即使帧时间数据不“戏剧性”差，SLI的动画错误也显著更高，可能导致更差的玩家感知体验。

  • 

• 新的图表呈现方式 [00:14:41]
  • 尝试将动画错误压缩为条形图（如“每帧错误”或“动画错误百分比”）以方便概览。

  • 

  • 然而，这种抽象会重新引入帧速率作为变量，可能不公平地掩盖高帧率配置的动画错误。
  • 因此，散点图更能展示原始数据，但难以同时比较大量GPU。
• 最坏情况分析 [00:17:24]
  • 理论上，总动画错误可能达到总帧时间的两倍。这意味着我们需要一种将误差归一化到总测试时长的百分比计算方法。

  • 

  • 

真实世界用例与帧生成问题 [00:18:44]

• 动画错误与帧生成 [00:19:46]
  • 帧生成技术（如NVIDIA MFG）产生的“伪帧”没有动画时间参考，因此无法直接计算其动画错误。
  • NVIDIA MFG的“翻转计量”（flip metering）会在渲染管线末端调整帧时间，可能诱发动画错误，但现有方法难以捕捉。

  • 

  • 

• 《龙之信条2》中的重大动画错误 [00:20:44]
  • 在《龙之信条2》发布时的性能问题分析中，动画错误图表显示了与帧时间尖峰精确对齐的误差，解释了游戏卡顿的明显感知。

  • 

• 《无主之地2》错误与帧时间比率 [00:21:29]
  • 即使两款显卡（GTX 980与RTX 5080）的平均FPS和低帧率相似，动画错误率也能清晰地揭示其中一张卡（GTX 980）存在的显著卡顿问题（动画错误与帧时间比率分别为11.9% vs 1.8%），无需为每个结果生成详细帧时间图。

  • 

  • 

• 动画错误的优势 [00:22:36]
  • 在帧时间尖峰可能被平均值（如1%低帧率）掩盖的情况下，动画错误能更好地总结实际体验问题。
  • 动画错误曾与“微卡顿”（micro stutter）相关联，但它更像是衡量微卡顿的一种方式。
  • 微卡顿常出现在多GPU渲染（如SLI）中，表现为帧时间不一致，导致画面撕裂或无效帧（runt frames），即使平均帧率高，体验也差。

  • 

动画错误的视觉示例 [00:25:18]

• 模拟动画错误 [00:26:48]
  • 平滑播放无误差: 每隔一帧抽取，保持均匀的帧时间（16.67ms），动画时间与显示时间完美匹配，动画错误为零。 [00:27:15]

    • 

  • 引入延迟而非误差: 延迟显示所有帧，虽然红点（实际显示）落后于绿点（理想动画），但帧间隔保持一致，动画仍然平滑，动画错误为零。延迟不等于动画错误。 [00:28:16]

    • 

  • 制造动画误差: 通过不均匀地抽取帧（例如连续抽取两帧或间隔四帧抽取），导致动画时间不一致（如8.33ms或33.3ms），即使显示时间恒定，也会产生显著的动画错误。 [00:29:15]

    • 

  • 反向示例: 动画时间恒定，但显示时间不均匀，同样会造成动画错误，就像翻页书速度不恒定一样。 [00:29:59]
• 真实世界游戏中的动画错误 [00:31:43]
  • 在启用VSSync的情况下，动画错误在快速平移和流畅跟踪的场景中最为明显，物体会改变速度和跳动，造成“橡胶带效应”。 [00:32:36]

    • 

    • 

    • 

  • 在不启用VSSync的测试中，需要FCAT风格的叠加层来显示撕裂帧和无效帧，这有助于理解动画错误，但视觉呈现更复杂。 [00:33:21]

    • 

    • 

高级：性能监控标志和指标 [00:34:17]

• PresentMon CPU指标 [00:34:41]
  • CPU起始时间 (CPU Start Time): 新帧诞生的时间点。 [00:34:42]
  • 动画时间 (Animation Time): PresentMon对帧所描绘的游戏时间“冻结瞬间”的最佳估计。通常与CPU起始时间接近，但在低延迟模式下（如Intel XeSS、NVIDIA Reflex、AMD Anti-Lag 2）会有显著差异。 [00:35:10]

    • 

    • 

    • 当启用XeSS时，《赛博朋客2077》的CPU起始时间与动画时间之间存在显著差异，表明在低延迟模式下，动画错误计算不应仅依赖CPU起始时间。 [00:36:08]

    • 

    • AMD Anti-Lag 2目前不支持生成模拟起始事件，因此无法准确计算其动画错误。 [00:36:45]

    • 

  • MS CPU忙碌 (MS CPU Busy): CPU处理游戏逻辑和渲染API调用的时间。 [00:36:56]
  • 呈现调用时间 (Present Call Time): CPU完成渲染指令并通知GPU开始渲染的时间。 [00:37:28]
  • MS呈现间隔 (MS Between Presents): 当前帧呈现调用与上一帧呈现调用之间的时间差，不再是衡量帧时间的最佳指标。 [00:37:49]
  • MS应用起始间隔 (MS Between App Start): 最能代表单个帧从开始到结束所需时间，是衡量硬件性能的更好指标。 [00:38:26]
  • MS模拟起始间隔 (MS Between Simulation Start): 依赖于Reflex或XeSS的模拟起始事件，目前在PresentMon中处于禁用状态。 [00:38:48]
• PresentMon GPU指标 [00:39:02]
  • MS GPU时间 (MS GPU Time): GPU总渲染时间，包括忙碌和等待时间。
  • MS GPU忙碌 (MS GPU Busy): GPU实际执行工作的时间。
  • MS GPU等待 (MS GPU Wait): GPU空闲等待CPU资源的时间。

  • 

• PresentMon显示指标 [00:39:39]
  • MS直到显示 (MS Until Displayed): 帧从呈现调用到实际显示的时间。
  • MS显示更改间隔 (MS Between Display Change): 上一帧显示到当前帧开始显示的时间。这是唯一能包含后处理（如帧生成）的指标。

  • 

• PresentMon组合指标 [00:40:40]
  • MS GPU延迟 (MS GPU Latency): 帧工作开始（CPU起始时间）到GPU开始工作之间的时间。
  • MS渲染呈现延迟 (MS Render Present Latency): CPU渲染结束（呈现调用）到GPU渲染结束之间的时间。
• 动画错误计算公式 [00:41:03]
  • MsAnimationError = (AnimationTime_N - AnimationTime_N-1) - MsBetweenDisplayChange_N
  • 结果可以是正或负，但偏离零越远越差。计算总误差时需要取绝对值，因为正负误差会相互抵消。

  • 

  • 

总结与未来展望 [00:42:30]

• 动画错误的重要性 [00:43:56]
  • 动画错误是对现有基准测试指标的重要补充，它能更直接地衡量感知到的卡顿和抖动（“我有多抖？”）。
  • 它有助于解释游戏感觉不流畅的深层原因，而不仅仅是指出卡顿的存在。
  • 在实际应用中，动画错误通常会补充而非矛盾现有指标，但它提供了一个新的、更贴近玩家体验的视角。
• 开源工具PresentMon [00:45:22]
  • PresentMon是Intel维护的免费开源工具，现在拥有用户界面，使更多人能够进行动画错误测试。

  • 

  • 

  • 建议从GitHub或Intel官网下载，以确保安全。

  • 

• 研究与发展 [00:47:17]
  • 动画错误方法论仍处于探索阶段，需要社区和评测人员的共同努力来进一步完善和应用。
• 致谢 [00:47:37]
  • 感谢Tom Peterson发起这一讨论并推动PresentMon的发展，他的工作为量化游戏体验提供了新的工具。