【2023.08.14】NeRF综述：NeRF-Neural Radiance Field in 3D Vision

geometric quality, speed, sparse view,generative, composition, point estimation.

1.geometric quality

1）better view synthesis:mipNeRF 360，mipNeRF

2）Depth Supervision and Point Cloud：
使用从SfM获得的深度图、点云监督模型，提高收敛速度。一般是用于sparse view NeRF。

2.速度

1） baked： kiloNeRF

通过训练或者预计算，将NeRF的MLP的结果储存到更易存取的数据结构。

2）non-baked:instant-NGP

根据MLP参数，再学习得到一个单独的场景特征。比如说将voxel grid输入MLP中，得到颜色和体密度。这种方法一般具有混合结构。值得注意的是，如果将神经网络的部分完全抛弃，则属于neural rendering models而不是NeRF。

3） Explicit Methods: Fast MLP-less Volume Rendering：TensoRF， Plenoxels

3. 稀疏视角: PixelNeRF

NeRF的训练需要多视角、已知相机位姿的图片。但是当训练样本太少或样本的位姿不够多样，则会导致训练结果在某个视角过拟合、不考虑场景的几何。

目前主要有两种方法解决该类问题，第一种使用预训练的CNN。第二种使用深度或3d几何监督。第二种方法除了能降低模型对训练数据集的要求，还能提高收敛速度。

4.生成

一般的条件为文本、图片、隐变量。使用生成的图像引导NeRF，问题在于如何控制主体不变、视角变化。一般使用的生成模型包括GAN，Diffusion model，latent model。