NeRF论文讲解以及公式推导

NeRF论文

• 传统方法存在的问题

  • 1. 优化一个表达复杂场景的神经辐射场，存在很难收敛到高分辨率表达的问题
  • 2. 采样效率低

• 解决问题的创新点

  • 1. 将5D坐标和positional encoding一起输入到MLP训练
  • 2. 使用hierarchical sampling提高采样效率
  • 3. 新的渲染公式继承了传统体渲染技术可微的特点
  

• Pipeline

  • Input
    • 5D coordinates
    • Positional encoding
  • MLP
  • Output
    • color
    • volume density
  • Volume Rendering
  • Rendering Loss

---

Neural Radiance Field Scene Representation

​ 密度信息$\sigma$仅仅由三维点坐标$\mathbf{x}$进行预测，而颜色信息$\mathbf{c}$允许同时由位置信息$\mathbf{x}$和方向信息$\mathbf{d}$进行预测。

​ 具体的MLP网络结构与上述策略对应。

• 将位置信息$\mathbf{d}$作为输入过第一个网络，8层全连接层，每一层256通道，使用ReLU函数作为激活函数。此网络输出密度信息$\sigma$，以及一个256维的特征向量
• 接着，将次特征向量和方向向量$\mathbf{d}$做拼接，作为第二个网络的输入，128通道，ReLU做激活，输出即为颜色信息$\mathbf{c}$

nerf Pytorch版本中的对应如下：
pts_linears: 前八层，得到输出为h

1. h通过alpha_linear得到体密度1维输出
2. h和观察视角通过views_linears得到128的输出
3. 最后得到RGB和σ拼接得到四维输出

Volume Rendering with Radiance Fields

假设前提：发射的光不为观察角度发生改变

因此对于某个视角$\mathbf{o}$发出的方向为$\mathbf{d}$的光线，其在$\mathbf{t}$时刻到达点为：$\mathbf{r}(\mathbf{t})=\mathbf{o}+t\mathbf{d}$

那么沿这个方向在范围 $(t_n,t_f)$对颜色积分，获得最终的颜色值$C(\mathbf{r})$为：
$$C(\mathbf{r})={\int }_{t_n}^{t_f}T(t)\sigma (\mathbf{r}(t))\mathbf{c}(\mathbf{r}(t),\mathbf{d})dt,whereT(t)=exp({\int }_{t_n}^t\sigma (\mathbf{r}(s))ds)$$

函数$T(t)$表示光线从$t_n$到$t$累积的透明度 (Accumulated Transmittance)。换句话说，就是光线从$t_n$到$t$穿过没有碰到任何粒子的概率。按照这个定义，视图的渲染就是表示成对于 $C(\mathbf{r})$​​​​的积分，它是就是虚拟相机穿过每个像素的相机光线，所得到的颜色。

$T(s)$​推导过程

$\sigma (s)$​：在s处，光线碰撞粒子（光线被阻碍）的概率密度

$C(s)$：在s处粒子发出的颜色

$T(s)$​：在特定的一段距离内，光线没有撞击其他粒子的概率

根据$P(AB)=P(A)P(B)$，$s$到$ds$的路程中没有碰到粒子的概率等于$0->s$处没有碰到粒子的概率乘$ds$阶段没有碰到粒子的概率；这两个事件为独立事件，推导如下：
$$\begin{gathered} T(s+ds)=T(s)(1-\sigma (s)ds) \\ T(s+ds)-T(s)=-T(s)\sigma (s)ds \\ {T}^{{}^{\prime }}(s)=-\sigma (s)ds \\ T(s)=e^{{\int }_0^t\sigma (t)dt} \\ \hat{C}(t)={\int }_0^{+\infty }T(s)\sigma (s)c(s)ds \end{gathered}$$

不过在实际的渲染中，我们并不能进行连续积分，因为计算机只能处理离散数据，我们使用求积法（quadrature）进行积分的数值求解。 通过采用分层采样 (stratified sampling) 的方式对$[t_n,t_f]$划分成均匀分布的小区间，对每个区间进行均匀采样，划分的方式如下：
t i ∼ U [ t n + i − 1 N ( t f − t n ) , t n + i N ( t f − t n ) ] t_{i} \sim \mathcal{U}\left[t_{n}+\frac{i-1}{N}\left(t_{f}-t_{n}\right), t_{n}+\frac{i}{N}\left(t_{f}-t_{n}\right)\right]