【CVPR 2022】NeRFReN: Neural Radiance Fields with Reflections

论文摘要：

神经辐射场（NeRF）利用基于坐标的神经场景表示法实现了前所未有的视图合成质量。然而，NeRF 的视图依赖关系只能处理简单的反射，如高光，而不能处理复杂的反射，如那些来自玻璃和镜子。在这些场景中，NeRF 将虚拟图像建模为真实几何，导致不准确的深度估计，当违反多视图一致性时，会产生模糊的渲染，因为反射的对象可能只在某些视点下看到。

为了克服这些问题，本文引入了 NeRFReN，它建立在 NeRF 上来建模反射场景。具体来说，NeRFReN 建议将一个场景分割成传输和反射的组件，并使用单独的神经辐射场对这两个组件进行建模。考虑到这种分解是高度欠约束，作者利用几何先验，应用精心设计的训练策略来获得合理的分解结果。

在各种自捕获场景上的实验表明，该方法在实现场景编辑应用的同时，实现了高质量的新颖视图合成和物理声深度估计结果。

论文简介：

从非结构化图像收集的逼真的新视角合成（NVS）对于创建身临其境的虚拟体验至关重要。尽管在受控环境中取得了重大进展，但在处理不同材料表面的光传输方面仍然存在挑战。例如，由玻璃或镜子引起的反射通常存在于现实世界的场景中，由于严重的视图依赖效应，给新的视图合成带来了很大的困难。

NeRF 通过在坐标和观察方向上调节辐射进行视角图像合成。然而，在存在包含除高光以外的严重反射的稳定的虚拟图像时，NeRF 倾向于将反射表面后面的场景几何形状建模为半透明的（如雾），并认为反射的几何形状出现在某个虚拟深度。

原因是 NeRF 并没有通过改变从不同方向观察时这个点的颜色来解释反射面点的视图依赖性，而是通过利用它后面的所有空间点沿着