NeRF 与风格迁移 - 我在 2022 年 6 月发现的一些很酷的 NeRF 研究

神经辐射场 (NeRF) 技术在 3D 场景生成中的应用与突破

本文介绍了神经辐射场 (NeRF) 技术在生成逼真 3D 场景和物体方面的最新进展，特别是在仅使用不到 100 张输入图像的情况下。通过不断积累实验和改进，NeRF 相关研究在渲染质量、速度和准确性方面取得了显著进步。

动态场景理解与物体移除：

D-squared NeRF 提出了一种利用 NeRF 理解 3D 场景并分割或分离动态物体的方案。该方法可以提取静态环境，并执行诸如物体移除等任务。与传统的二维图像处理方法相比，D-squared NeRF 能够更有效地理解场景，从而提高物体移除的性能。

该技术在移除动态物体方面表现出色，例如，它能够准确地移除移动物体并提取背景环境，甚至可以移除液体。在演示中，D-squared NeRF 可以将倒入水箱中的酱油完全移除，即使存在气泡也能够还原水箱中未被污染的状态。

风格化 NeRF：

除了理解动态场景，NeRF 技术还可以应用于风格化场景生成。风格化 NeRF 能够将场景的输入帧与风格图像融合，生成具有特定风格的 3D 场景。例如，它可以生成极简主义的黑白线条风格房间，或类似草图的场景，或其他奇特风格的场景。

与传统的视频滤镜相比，风格化 NeRF 对场景结构有更深入的理解，因此可以生成更加一致的风格转换效果。例如，它可以将桌子的边缘以一致的方式绘制成白色，而传统的滤镜则可能因为缺乏对场景结构的理解而产生闪烁效果。

总而言之，NeRF 技术在 3D 场景生成方面取得了重大进展，其在动态场景理解、物体移除和风格化场景生成等领域展现出巨大潜力。相信未来 NeRF 技术将继续发展，并应用于更多领域。