【CVPR 2022】NeRFReN: Neural Radiance Fields with Reflections

论文摘要：

神经辐射场（NeRF）利用基于坐标的神经场景表示法实现了前所未有的视图合成质量。然而，NeRF 的视图依赖关系只能处理简单的反射，如高光，而不能处理复杂的反射，如那些来自玻璃和镜子。在这些场景中，NeRF 将虚拟图像建模为真实几何，导致不准确的深度估计，当违反多视图一致性时，会产生模糊的渲染，因为反射的对象可能只在某些视点下看到。

为了克服这些问题，本文引入了 NeRFReN，它建立在 NeRF 上来建模反射场景。具体来说，NeRFReN 建议将一个场景分割成传输和反射的组件，并使用单独的神经辐射场对这两个组件进行建模。考虑到这种分解是高度欠约束，作者利用几何先验，应用精心设计的训练策略来获得合理的分解结果。

在各种自捕获场景上的实验表明，该方法在实现场景编辑应用的同时，实现了高质量的新颖视图合成和物理声深度估计结果。

论文简介：

从非结构化图像收集的逼真的新视角合成（NVS）对于创建身临其境的虚拟体验至关重要。尽管在受控环境中取得了重大进展，但在处理不同材料表面的光传输方面仍然存在挑战。例如，由玻璃或镜子引起的反射通常存在于现实世界的场景中，由于严重的视图依赖效应，给新的视图合成带来了很大的困难。<