深入解析现代图形渲染中被忽视的10个关键技术：优化与行业现状的挑战

Threat Interactive

总结：

本视频深入探讨了现代图形渲染中10个经常被忽视或误解的关键技术，并呼吁行业进行优化。

• FXAA抗锯齿： 揭示了其错误实施导致模糊的问题，并提出了正确的配置方法。
• 弯曲法线（Bent Normals）： 解释了其在间接光照和镜面反射遮蔽中的重要性，以及它常被忽略的原因。
• 纹理打包： 介绍了一种高效的纹理压缩方案，以在支持丰富PBR输入的同时提高性能。
• 前向+渲染： 强调了该技术在支持多动态光照和MSAA方面的优势，并批评了Unreal Engine的低质量实现。
• 阴影贴图： 展示了Days Gone如何实现高质量阴影，并对比了Unreal Engine阴影系统存在的问题。
• 景深（Depth Of Field）： 指出景深效果常被滥用或劣质实现，对比了Warframe和Unreal Engine的不同表现。
• 地面真实环境光遮蔽（GTAO）： 讨论了GTAO的光晕问题和不准确性，并提出了HBAO等更佳替代方案。
• 硬件可变速率着色（HW VRS）： 区分了VRS的两种类型，并着重介绍了可变速率超采样（VRSAA）在提升抗锯齿质量方面的潜力与挑战。
• 色调映射： 以Gran Turismo 7为例，展示了高质量色调映射如何精确呈现PBR材质的颜色和细节，并批评了ACES1的不足。
• 川濑模糊（Kawase Blur）： 作为高斯模糊的性能更优替代品，其在MGSV的泛光效果中表现出色。

视频最后呼吁玩家和开发者通过在Unreal Engine游戏上给出差评并使用#fixUE5标签来推动行业对图形优化问题的关注和改进。

导言：被忽视的图形技术 [0:00]

视频指出，为了提升优化图形的市场价值，行业需要重新审视一些经常被推广、忽视或不公平贬低的图形技术。

1. FXAA（及通用MLAA） [0:12]

FXAA常被错误实施，导致模糊问题。

• FXAA 3.11的正确配置
  • 由Timothy Lattis开发的FXAA 3.11是常见版本，有关键变量。
  • PC版本必须启用以获得现代质量。
  • 预设变量（0-39）：39是唯一能去除FXAA抖动行为的预设。
  • FXAA质量_subpix：控制主要的模糊行为，默认75%应禁用。
  • 正确设置后，FXAA能以极低成本消除锯齿而不产生模糊。
• Unreal Engine的实施问题
  • Unreal Engine使用PC版本，但subpix值默认为75%。
  • 玩家无法访问预设39，因为它仅在“电影级别”的AA质量设置下启用，而此设置通常不向游戏玩家公开。
• 与其他抗锯齿技术的比较
  • CMAA2： 在视觉上优于FXAA，无论FXAA设置如何。它在更高分辨率渲染中性能也更佳。
  • SMAA： 在处理对角线边缘方面表现出色，尽管CMAA2的演示也承认了这一点。
    • SMAA通过使用计算着色器代替像素着色器，在慢速场景中性能提升40%。然而，行业（如CMAA2演示和CryEngine）并未普遍采用计算着色器SMAA。
• FXAA的教训：
  • 图形工程师应吸取教训：在决策制定中，粗糙、低质量的意见总是占据上风。
  • 图形技术不应迎合多种思想流派，而应专注于特定问题。
  • 如果FXAA的PC版本能自动禁用subpix功能并限定为预设39，其负面声誉会少得多。

2. 弯曲法线（Bent Normals） [3:46]

弯曲法线是一种通常被忽视或贬低为“更复杂的环境光遮蔽”的技术。

• 用途和重要性：
  • 直接光照可以通过专用阴影逻辑上排除，但间接光照（例如探针或镜面信息）没有遮蔽数据。
  • 材质AO仅需一个纹理通道，能很好地将物体“接地”，但不足以处理镜面遮蔽。
  • 弯曲法线预计算半球边界内遮蔽最少的方向，作为通用的自阴影系统。
  • 这增强了AO输出，更重要的是增强了镜面遮蔽，解决了现代视觉中常见的“镜面泄露”导致物体不自然发光的问题。

    

• 行业忽视的原因：
  • 制作方通常忽略弯曲法线，因为它们需要额外两个通道，被认为不值得。
  • 弯曲法线通常仅用于武器或主要角色等“英雄资产”。

3. 纹理打包（实现性能逼真度） [4:43]

本节提供了一个考虑AO、弯曲法线、深度图和法线的通用纹理打包方案。

• 压缩类型与PBR输入：
  • 法线： 功能上依赖于高质量压缩。
    • BC5压缩通常推荐用于法线，但采样成本高，压缩效果不佳。
    • BC7压缩介于两者之间，可以同时容纳切线空间基准法线和弯曲法线。像Days Gone和Half-Life Alyx这样视觉出色的游戏也使用BC7，证明其是可接受的选择。
  • 颜色： 不依赖于压缩质量。即使是BC7也无法保证完美的纹理。
  • BC3： 两个BC3纹理可以压缩大量通道，包括颜色、AO、镜面反射蒙版，以及更高质量的alpha通道，可以包含粗糙度和深度图。
  • BC1： 如果任何蒙版是1位（二值范围），可以用BC1替代其中一个BC3。
  • BC4： 对于不透明度贴图，应使用单独的BC4，因为其缺少额外数据通道可以加速深度渲染通道（如阴影或预通道）。

    

• 目标：
  • 此打包方案旨在压缩大部分数据，从而获得纹理压缩的主要性能优势，同时支持大量重要输入。
  • 它不是为了实现最快的打包方案（那种会将所有东西都放入BC1，但会牺牲视觉质量，仅适用于低规格硬件）。

4. 前向+渲染 (Forward Plus Rendering) [6:51]

前向+渲染是前向渲染的现代迭代，旨在支持多动态光源并正确支持MSAA。

• 与传统渲染方法的对比：
  • 前向渲染： 缺乏多动态光源支持。
  • 延迟渲染： 渲染几何体缓冲区，照明阶段较薄，缺乏MSAA支持。
  • 前向+渲染： 结合了多动态光源支持和MSAA lit几何体。

    

• Unreal Engine的实施：
  • Unreal的低质量前向+渲染系统仅支持四个投射阴影的光源重叠，远低于游戏或电影场景所需。
• 示例：底特律：成为人类 (Detroit: Become Human)
  • 该游戏支持次表面散射、软阴影、HBAO和随机SSR，视觉效果可与Modded UE5的屏幕空间反射媲美。
  • 《底特律：成为人类》在没有时间抗锯齿（TAA）的情况下也能渲染头发，驳斥了某些社群认为头发渲染必须依赖TAA的观点。
• 前向+渲染的主要问题：
  • 需要完整的预通道（prepass），这使得不透明度贴图在仅深度通道中仍然缓慢。
  • MSAA是主要动力，但软阴影和其他后处理与MSAA存在兼容问题（研发可能最终会解决）。
  • “往日不再”的微细节方法结合了G-缓冲区来同时处理材质和局部几何体的阴影，这与前向+渲染可能不兼容。
  • 存在通过部分超采样结合两帧抖动来模拟4K或4倍MSAA采样密度的想法。

5. 阴影贴图 [9:04]

阴影贴图比光线追踪阴影便宜得多，但存在阴影偏差和阴影痤疮等问题。

• Days Gone的阴影贴图分析：
  • 最低设置： 每个级联以576x576分辨率渲染，深度密度低于屏幕上的角色，导致阴影边缘出现锯齿。
  • 中等设置： 阴影贴图级联分辨率翻倍至1100x1100，接近光线追踪效果，但仍需更高分辨率。
  • 理想设置： 最佳效果是方形分辨率增加约30%，并结合精心调整的阴影柔化。
  • 最高设置： 并未增加分辨率，而是使用廉价的阴影贴图抗锯齿和保守的阴影柔化。柔化程度不高，以避免漏光并解决偏差问题。
• Unreal Engine的阴影贴图处理：
  • Unreal Engine的级联阴影贴图系统在基本分辨率下就已存在问题，级联离主摄像机过远，过渡效果差。
  • 这迫使开发者使用昂贵的高分辨率阴影，导致缩减基本质量，或错误地认为慢速的nanite VSSM是更大的改进。

    

• 局部光源阴影：
  • 灯具或聚光灯等局部光源不需要超高分辨率渲染。
  • 缓存： 大部分可以利用缓存。
  • 动态系统： Wicked Engine的动态系统可根据摄像机距离自动调整阴影分辨率。
  • 特写阴影： 《底特律：成为人类》通过艺术家标记角色，使其包含在特写阴影贴图中，以防止角色漏光。在PS4上成本高，但在第九代硬件上成本将大幅降低，可在游戏过程中支持。

    

6. 景深（Depth Of Field） [13:12]

景深效果（DoF）被严重低估，因为其通常被不智能地使用或以低质量方式实现。

• Crysis Remastered的DoF：
  • 被宣传为“最先进”的DoF，但实际上效果糟糕，呈现出不真实、不美观的雾霾。

    

• Warframe的DoF：
  • 拥有令人惊艳且廉价的DoF，被保守地使用，而非强行展示。它模拟了人眼在显示器平面化特性下无法实现的视觉效果，并且图形上极其平滑。
• Unreal Engine的DoF：
  • 尽管成本与Warframe的DoF相似，但视觉质量远不如后者，边缘模糊且带有抖动。
  • 其高设置会导致抖动效果更差，并且依赖于能力不足的TAA进行平滑。
  • 若要达到类似Warframe的平滑渐变，需要启用更高设置，但这会破坏景深效果。
  • 即使重新配置焦点，Unreal的DoF虽然可能看起来比Warframe更锐利，但成本至少高出三倍，并且仍然依赖于能力不足的TAA进行平滑处理。

    

7. 地面真实环境光遮蔽（GTAO） [14:54]

GTAO存在严重问题。

• SSAO问题回顾：
  • 常见的屏幕空间环境光遮蔽（SSAO）问题是“光晕”（haloing），它会让大脑立即察觉图形看起来是假的。
• GTAO的误解：
  • GTAO常被称为最佳SSAO版本，因为它“据说”与光线追踪环境光遮蔽（RTAO）效果匹配。
  • 然而，相关论文中提及的RTAO是指深度缓冲区追踪（即屏幕空间），而非世界空间RTAO。
• GTAO的视觉问题：
  • GTAO在视觉行为上存在光晕问题，例如围绕球体产生强烈的光晕，且在不同视角下不一致。
  • 它倾向于产生宽泛的遮蔽，无论遮蔽物尺寸如何，这与世界空间光线追踪AO的遮蔽宽度和锐度的一致变化不同。

    

• HBAO的优势：
  • HBAO等解决方案则没有这些问题，在小半径遮蔽下至少与世界空间RTAO相似。
  • 《合金装备V》在启用HBAO时使用了两种不同的AO解决方案：一种用于小细节，另一种用于大遮蔽物。
• 解决方案：
  • 需要开发高度适应性的GTAO，或者将其专门用于大尺度遮蔽，而HBAO类技术则用于小尺度遮蔽。

    

8. 硬件可变速率着色（HW VRS）和VRSAA [16:59]

硬件可变速率着色（VRS）被严重低估。

• VRS类型：
  • 一级VRS： 允许对单个材质（例如蓝天）以较低频率进行像素着色，而视觉上没有差异。
  • 二级VRS： 从上一帧的运动和亮度中获取纹理信息，预测当前帧中可以进行较少频率像素着色的区域。理论上，在阴影等较暗区域，较少细节的着色不易察觉。
• VRS的负面共识：
  • 一级VRS除了纯色区域外，通常会让所有东西看起来更糟。
  • 二级VRS要么性能提升微乎其微（依赖于较暗场景），要么在提供性能提升时，由于过度激进的使用而导致视觉效果糟糕（类似于升采样，以图像质量换取性能）。
  • 开发者声称VRS带来巨大性能提升，可能是因为他们在过高分辨率下渲染或材质未优化。

    

• VRS抗锯齿（VRSAA）/可变速率超采样：
  • 这是一种很酷的用法，它将像素着色调用与几何采样率解耦。
  • 例如，1080p的4倍SSAA（超采样抗锯齿）在几何密度上与1080p的4倍MSAA相似，但每个样本都会调用像素着色器。
  • 通过对整个屏幕使用2x2 VRS，像素着色器以与1080p开启或不开启MSAA时相似的速率被调用，从而以1080p的成本获得接近4倍MSAA的几何密度。这在延迟渲染中效果非常好。

    

• VRSAA的问题：
  • 显存消耗： 占用超过200MB的显存（类似于第七/八代延迟MSAA的成本）。
  • 延迟照明冗余： 延迟照明仍以全分辨率着色G缓冲区，需要一个系统来裁剪重复像素并智能地复制相关照明像素。
  • 三角形导数失真： VRS会扭曲三角形导数，这会影响用于反镜面着色器抗锯齿的dx/dy函数。Gears 5的开发者通过在材质着色器中考虑这一点来解决。
  • 采样网格： 4倍SSAA的采样网格是顺序排列而非旋转排列的，导致最终结果比4倍MSAA或稀疏网格超采样（它们使用旋转网格）更差。
    • 解决方案是利用可编程采样位置，在每个4x4像素组内编程采样点位置。
    • 然而，这需要大量研发（定制MLAA、定制缩放器、材质变化），且对硬件支持有限（PS5不支持Tier 2 VRS，因此Tier 1也可能不是选项）。
  • alpha测试内容问题： 对植被或头发等alpha测试内容存在问题。

9. 色调映射 [20:59]

色调映射与数字HDR图像的颜色和亮度处理有关。

• Gran Turismo 7的色调映射研究：
  • GT7的开发者认为，如果色调映射不正确，会损害其他基于物理渲染（PBR）方面的外观。
  • 他们展示了行业标准色调映射器的比较，包括他们对上一个色调映射器工作的改进。

    

• 色调映射器对比（ACES1、ACES2、AgX、PBR中性、GT7）：
  • ACES2和AgX： 颜色外观沉闷。
  • ACES1： 在正确曝光下，亮白色区域的反射信息丢失，看起来很平淡。在场景曝光增加时，汽车变得过曝，世界其他部分颜色不鲜艳。它会压缩颜色到破坏PBR的程度。
  • GT7色调映射器：
    • 在正确曝光下，虽然颜色可能稍暗，但汽车的颜色变化和光照渐变更好，亮白色油漆中的反射信息不会丢失。
    • 在场景曝光增加时，汽车会过曝（白色且被阳光直射，合理），但世界的其他部分保留了更丰富、更有活力的外观。
    • 在更高的场景曝光下，GT7色调映射器保留了PBR中性的色彩丰富度，同时产生了更好的颜色渐变（如天空所示）。
    • 它能提供更准确的颜色（例如，防止鲜艳的PBR橙色看起来像粉色），并且在汽车上提供更好的渐变，在道路和远处雪地等PBR材质中显示更多细节。

• Unreal Engine对色调映射的采用： UE5使用ACES1。

10. 川濑模糊（The Kawase Blur） [23:12]

川濑模糊是高斯模糊的替代模糊方法。

• 性能优势： Intel测量表明，在大多数情况下，川濑模糊的性能优于高斯模糊。

  

• 应用示例： 《合金装备V》的泛光（Bloom）效果就利用了川濑模糊，被认为是效果最佳的泛光之一。

现代图形现状及应对策略 [23:57]

• 行业现状： 新游戏不断发布，图形质量低下，性能未优化，但销售额依然可观。
• 问题根源： 玩家和开发者被营销或不专业的评测误导，认为平庸的现代图形代表了进步。Epic Games等公司缺乏改进Unreal Engine的动力，只需推出新的复杂图形噱头来获取宣传。
• 抗议行动：
  • 提升认知： 了解这些技术至关重要。
  • 抵制不佳表现： 如果购买Unreal Engine游戏，请给出一星评价并使用#fixUE5标签。
    • 这旨在促使行业正视这些图形问题，迫使Epic Games进行改进。

给新观众的建议 [25:50]

建议新观众按顺序观看本频道的视频，以逐步理解渲染概念和图形行业，这将帮助他们识别营销欺骗。