CVPR2017 Oral【论文笔记】Unsupervised Monocular Depth Estimation with Left-Right Consistency

最新推荐文章于 2021-11-05 17:45:21 发布

原创

最新推荐文章于 2021-11-05 17:45:21 发布 · 2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #深度学习

本文介绍了一种无需大量标记数据的单视图深度估计方法。通过建立训练损失检查左右图像的一致性，该方法能够在没有地面真实深度数据的情况下进行训练。模型通过学习从一个图像重建到另一个图像的过程，获取三维形状信息，从而预测每个像素的深度。

1 Intro
基于学习的方法对深度估计有非常好的效果，然而现存的方法都是监督学习需要大量的训练数据，本文作者提出一种单视图的深度估计方法，且不需要ground truth depth data。
2 Method
建立一种training loss去check左右一致性，可以使训练在不需要ground truth的监督。
2.1 Depth Estimation as Image Reconstruction
这里的想法是，给定一对经过校准的双目摄像机，如果能够学习一个从一个图像重建到另一个图像的函数，那么就已经学习了一些关于这些图像的三维形状的信息。
那么该方法就是试图找到一个dense correspondence field dr，通过左图可以重建右图。d就对应于image的disparity（这就是模型要去预测的每个像素的标量值），通过disparity来重建depth。
2.2 Depth Estimation Network
该网络可以通过左视图同时推断left-to-right和right-to-left的disparities，并且通过使左右disparities达到一致性来增强深度估计的效果。

Naively learning：通过从左图像来生成右视图disparity会并且与左视图的采样共同产生output即右视图。
No LR：但是作者希望得到的disparity与input左视图对应，因此生成left view aligned disparity map，但是问题是这样会在深度不连续的地方产生失真和错误，下图可以看出：

最低0.47元/天解锁文章