04 - RTRT 领域特有的过滤方法
本文将简要介绍 RTRT 领域中特有的过滤方法 SVGF(Spatiotemporal Variance-Guided Filtering)和 RAE(Recurrent AutoEncoder)。
SVGF
概念
SVGF(Spatiotemporal Variance-Guided Filtering),和之前说的基于时分的降噪思路差不多,但多了些技巧和每像素的方差分析。

基于联合双边滤波的思路
深度值角度
其中,分母
法线值角度
其中,
灰度值角度
可以将颜色值转换为灰度值后再考虑两点的互相贡献。例如在考虑 A 是否贡献到 B 时,要参考 B 周围 7x7 灰度值的方差和 3x3 的滤波结果(空间)和 Motion Vector
的结果(时间),然后决定 A 对 B 的贡献程度。
缺陷
- 在噪声和过度模糊中选择了过度模糊,改进版是 ASVGF。
- 残影现象
RAE
概念
RAE(Recurrent AutoEncoder),使用神经网络和 G-Buffer 上的信息对路径追踪的结果降噪,属于后处理范畴,且神经网络会自动累计时间上的信息。
结构
关键设计点:
- 使用
AutoEncoder/U-Net
结构,容易处理图像 - 每层神经网络不仅连向下一层,也能连向本层,实现累计时间上的信息。
训练模型时要以连续的帧作为材料。