11、探索可控神经特征场

探索可控神经特征场

在计算机视觉领域，可控的场景生成是一个重要的研究方向。下面我们将深入探讨如何利用相关模型实现可控的场景生成，包括特征场的生成、特征场到图像的映射、可控场景生成的探索以及模型的训练等内容。

1. 特征场生成

要生成新图像，需完成以下三步：
1. 指定相机姿态 ：确定相机的视角。作为预处理步骤，利用该相机姿态向场景中投射光线，生成方向向量 (d_j) 以及采样点 (x_{ij})，并向场景中投射多条这样的光线。
2. 采样 (2N) 个潜在代码 ：为渲染输出图像中希望看到的每个对象采样两个潜在代码，一个对应对象的形状，另一个对应其外观，这些代码从标准正态分布中采样。
3. 指定 (N) 个仿射变换 ：对应场景中对象的姿态。

模型的生成器部分会针对场景中的每个预期对象，利用形状代码、外观代码、对象的姿态信息（即仿射变换）、观察方向向量和场景中的一个点 (x_{ij})，生成该点的特征场（一个向量）和体积密度，这是 NeRF 模型在起作用。

2. 特征场到图像的映射

生成维度为 (H_V \times W_V \times M_f) 的特征场后，需要将其映射到维度为 (H \times W \times 3) 的图像。通常 (H_V < H)，(W_V < W)，且 (M_f > 3)。GIRAFFE 模型采用两阶段方法，因为消融分析表明它比直接使用单阶段方法生成图像更好。

映射操作是一个可以通过数据学习的参数化函数，使用 2D CNN 最适合此