Unsupervised Learning of Depth and Ego-Motion from Monocular Video Using 3D Geometric Constraints

基于3d几何约束的无监督深度估计

文章发表在CVPR 2018 ，代码貌似未开源

摘要
此前的无监督的深度估计的方法大多是采用基于图像重建和基于梯度的损失，只考虑了局部像素点之间的关系，并未从整体上对深度进行约束。我们的主要贡献是明确考虑了场景的三维几何，提出一种三维几何约束，使得相邻帧之间估计出的点云和相机自运动保持一致。另外作者的方法也可以在自己用手机收集的数据集上进行训练。

Introduction
结构上都是类似的，包含一个单视图深度估计网络，和一个基于相邻图像对的相机位姿估计网络。
主要的贡献包括以下三点：
1、提出一个直接对估计的深度不一致性进行惩罚的loss
2、一个Principled mask。通过计算产生一个mask，而不是采用学习的方法，解决运动以及前后帧之间存在的遮挡问题。
3、提出的方法可以在未标定的视频上进行学习。

Method
总体流程如下图

1、Problem Geometry
给定连续帧 Xt-1 和 Xt，以及对应的估计出的深度Dt-1、Dt和自运动(也就是相机位姿)Tt，就可以把二维的图像点投影到三维空间的点云。具体就是，例如图像上的一个像素点在其深度值D和相机内参K的情况下，就可以计算其对应的三维点。