NeRF里的forward facing

一直以来笔者对NeRF里提到的forward facing指的是什么很困惑，网上也鲜有关于这个问题的回答，这里记录下笔者的发现，如有错误，欢迎评论指出。

---

一.介绍

这里涉及到5种不同的相机拍摄方式，具体来说：

1.forward facing

原始NeRF主要应对的拍摄方式。形象来说就是你拿着手机正对着场景来拍摄，但是要前后距离变化浮动较小，如图1所示 。严格定义来说指的是相机z轴只能在xy平面（z=0）移动，如图2和图3上所示。当然根据论文[3]提到的，容忍高达 ±20° 的旋转和±20% 的平移扰动，如图3下所示。

图1.forward facing

图2.来自[1]，相机拍摄轨迹示意

图3.来自[3],完美forward-facing和添加扰动的forward-facing

2.360° inward facing

原始NeRF可以应对但效果不好的拍摄方式（要求保持背景尽量干净[4]）。形象来说就是你拿着手机始终对着一个物体（而非一个大的场景了）围绕着拍摄，如图4所示。此时相机的运动轨迹已经脱离xy平面（z=0）了。不严格来说inward facing，从相机出发的光线射线是相交的

图4.360° inward facing

3.360° outward facing

原始NeRF无法处理的拍摄方式。形象来说就是你拿着手机以自己为中心自转一圈进行拍摄，如图5所示。当然此时相机的运动轨迹同样脱离了xy平面（z=0）。

图5.360° outward facing

4. 360° inward + outward facing

原始NeRF无法处理的拍摄方式。即2和3的合并。

图6.360° inward + outward facing

5.unconstrained 360° outward-facing

原始NeRF无法处理的拍摄方式。此时没有任何限制，相机可出现在任何位置。

图7.unconstrained 360° outward-facing

二.参考

[1] 平凡马修：NeRF 论文主要点细致介绍
[2] https://www.shenlanxueyuan.com/open/course/153/lesson/136/liveToVideoPreview
[3] NeRF−−: Neural Radiance Fields Without Known Camera Parameters
[4] tips for training real 360 inward-facing scene · Issue #41 · bmild/nerf