【CVPR 2021】Shadow Neural Radiance Fields for Multi-view Satellite Photogrammetry

论文摘要：

本文提出了一种新的地球观测场景阴影感知多视点卫星摄影测量的通用方法。S-NeRF 遵循了隐式体积表示学习的最新进展。对于每个场景，S-NeRF 使用从已知的视角拍摄的非常高的空间分辨率的光学图像来训练。学习过程不需要标签或形状先验：它是由图像重建损失进行自监督的。为了适应来自方向光源（太阳）和漫射光源（天空）的不断变化的光源条件，本文以两种方式扩展了 NeRF 方法。

首先，通过局部光源可见场模拟太阳的直接照明。第二，从漫射光源的间接照明作为一个非局部色场作为太阳位置的函数。定量地说，与 NeRF 相比，这些因素的组合降低了阴影区域的高度和颜色误差。S-NeRF 方法不仅可以进行新的视图合成和完整的三维形状估计，还可以实现阴影检测、反照率合成和瞬态目标滤波，而不需要任何明确的形状监督。

论文介绍：

许多人认为卫星图像是直从上方拍摄的，但实际上它们几乎总是以一个斜角拍摄的。所谓的 off-nadir 图像提供了关于垂直结构的信息，并可以用于估计三维形状。此外，来自不同视角的图像的组合揭示了在大多数情况下不可能仅用一幅图像捕捉到的细节。

虽然可以使用主动传感器，如光探测和测距（激光雷达）来直接测量从卫星到地面的距离，但与被动相机相比，这需要消耗大量的能量。</