04 - RTRT 领域特有的过滤方法

发表于 更新于 分类于 ， ， 阅读次数： 9 Waline： 本文字数： 764 阅读时长 ≈ 1 分钟

本文将简要介绍 RTRT 领域中特有的过滤方法 SVGF（Spatiotemporal Variance-Guided Filtering）和 RAE（Recurrent AutoEncoder）。

SVGF

概念

SVGF（Spatiotemporal Variance-Guided Filtering），和之前说的基于时分的降噪思路差不多，但多了些技巧和每像素的方差分析。

未降噪, SVGF, 可接受的结果

基于联合双边滤波的思路

深度值角度

其中，分母为深度值的影响参数；深度值的梯度则考虑到 A。B 两点情况，A 和 B 应能相互贡献，但由于 A 和 B 深度差距过大反而不能相互贡献，因此要加上这一项；则保证分母是正数。

法线值角度

其中，为法线值的影响参数，同时控制的衰减。如果要使用法线贴图，就不要将 “扰乱” 表面法线信息一类的法线贴图（如凹凸贴图）作为参数传进来。

灰度值角度

可以将颜色值转换为灰度值后再考虑两点的互相贡献。例如在考虑 A 是否贡献到 B 时，要参考 B 周围 7x7 灰度值的方差和 3x3 的滤波结果（空间）和 Motion Vector 的结果（时间），然后决定 A 对 B 的贡献程度。

缺陷

  • 在噪声和过度模糊中选择了过度模糊，改进版是 ASVGF。
  • 残影现象

RAE

概念

RAE（Recurrent AutoEncoder），使用神经网络和 G-Buffer 上的信息对路径追踪的结果降噪，属于后处理范畴，且神经网络会自动累计时间上的信息。

结构

关键设计点：

  • 使用 AutoEncoder/U-Net 结构，容易处理图像
  • 每层神经网络不仅连向下一层，也能连向本层，实现累计时间上的信息。

训练模型时要以连续的帧作为材料。

两种方法的比较

参考资料