04 - RTRT 领域特有的过滤方法

本文将简要介绍 RTRT 领域中特有的过滤方法 SVGF(Spatiotemporal Variance-Guided Filtering)和 RAE(Recurrent AutoEncoder)。

SVGF

概念

SVGF(Spatiotemporal Variance-Guided Filtering),和之前说的基于时分的降噪思路差不多,但多了些技巧和每像素的方差分析。

未降噪, SVGF, 可接受的结果

基于联合双边滤波的思路

深度值角度

其中,分母为深度值的影响参数;深度值的梯度则考虑到 A。B 两点情况,A 和 B 应能相互贡献,但由于 A 和 B 深度差距过大反而不能相互贡献,因此要加上这一项;则保证分母是正数。

法线值角度

其中,为法线值的影响参数,同时控制的衰减。如果要使用法线贴图,就不要将 “扰乱” 表面法线信息一类的法线贴图(如凹凸贴图)作为参数传进来。

灰度值角度

可以将颜色值转换为灰度值后再考虑两点的互相贡献。例如在考虑 A 是否贡献到 B 时,要参考 B 周围 7x7 灰度值的方差和 3x3 的滤波结果(空间)和 Motion Vector 的结果(时间),然后决定 A 对 B 的贡献程度。

缺陷

  • 在噪声和过度模糊中选择了过度模糊,改进版是 ASVGF。
  • 残影现象

RAE

概念

RAE(Recurrent AutoEncoder),使用神经网络和 G-Buffer 上的信息对路径追踪的结果降噪,属于后处理范畴,且神经网络会自动累计时间上的信息。

结构

关键设计点:

  • 使用 AutoEncoder/U-Net 结构,容易处理图像
  • 每层神经网络不仅连向下一层,也能连向本层,实现累计时间上的信息。

训练模型时要以连续的帧作为材料。

两种方法的比较

参考资料