NERF论文笔记(1/2)

NeRF:Representing Scene as Neural Radiance Fields for View Synthesis 笔记

摘要

实现了一个任意视角视图生成算法：输入稀疏的场景图像，通过优化连续的Volumetric场景函数实现；用全连接深度网络表达场景，输入是一个连续的5维坐标，3D坐标+2D角度（航向、俯仰角），输出Volume density和依赖于视图的emitted radiance，查询5维坐标并用经典的Volume Rendering把输出的颜色与强度投影到图像。

介绍

a. march camera rays，我理解为从焦点投射射线到场景，获取3D坐标点。
b. 用3D点$\mathbf{x}$与对应的2D角度(用单位向量$\mathbf{d}$)输入，输出颜色$\mathbf{c}$和强度$\sigma$。
c. 合成图像。

Neural Radiance Field场景表达

$$F_{\theta }:(\mathbf{x},\mathbf{d})\to (\mathbf{c},\sigma )$$
输出$\sigma$只与输入位置坐标$\mathbf{x}$有关，$\mathbf{c}$则与$\mathbf{x}$、$\mathbf{d}$有关。

网络结构，输入$\mathbf{x}$的8层全连接层，均为256通道，各层带ReLU激活，输出$\sigma$、256维特征，此特征再与$\mathbf{d}$聚合，输入一层带ReLU的全连接层，输出$\mathbf{c}$。

Volume Rendering

位置坐标$\mathbf{x}$表达为相机射线$\mathbf{r}$，$\mathbf{r}(t)=\mathbf{o}+t\mathbf{d}$，t是从焦点$o$出发的长度，积分上下界是远端、近端。
C ( r ) = ∫ t n t f T ( t ) σ ( r