【CVPR 2021】pixelNeRF: Neural Radiance Fields from One or Few Images

论文简介：

现有的构建 NeRF 的方法通常独立地优化对每个场景的表示，需要许多校准的视图和显著的计算时间。作者通过引入了全卷积的架构，为解决这些缺点迈出了一步。这允许网络跨多个场景进行训练，以预先学习一个场景，使它能够以前馈的方式从稀疏的视图集（只有一个视图）执行新的视图合成。

然后利用 NeRF 的体积渲染方法，pixelNeRF 可以直接从图像中训练，而无需明确的三维监督。作者在 ShapeNet 基准测试上进行了广泛的实验，包括保留的对象以及整个看不见的类别。

在所有情况下，pixelNeRF 在新的视图合成和单图像三维重建方面都优于目前最先进的基线。

论文介绍：

本文主要研究了从一个稀疏的输入视图集中合成一个场景的新视图的问题。近期的研究表明，通过 NeRF，一个三维场景用一个神经网络表示，然后就可以将其渲染成二维视图了。但是虽然 NeRF 可以呈现逼真的新视图，但它通常是不太实用，因为它需要大量的姿态图像和冗长的逐场景优化。

所以为了解决上述问题，在本文中，作者提出的 pixelNeRF 能够以前馈的方式从一个或几个图像中预测 NeRF。与原始的 NeRF 网络不使用任何图像特征不同，pixelNeRF 将与每个像素对齐的空间图像特征作为输入。这种图像条件允许框架在一组多视图图像上