Unsupervised Monocular Depth Estimation with Left-Right Consistency-CVPR17学习笔记

本文提出了一种创新方法,通过左-右一致性在无监督情况下进行单目深度估计。借助图像重建损失,网络在双目图像上训练,生成高质量的视差图,以估计深度信息。在GPU上,该方法能够快速预测深度图,解决了深度不连续处的纹理复制问题,并使用了三种损失函数以提升深度图的准确性和平滑性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

0. 摘要

本文在现有方法的基础上进行了创新,在训练中用更容易获得的双目立体图像代替显式深度图的使用。利用极几何约束,用图像重建损失训练网络生成视差图像。只用图像重建损失得到的深度图质量差,作者一共利用了三个损失函数。

1. 介绍 

我们的方法很快,在GPU上预测一张512×256图像的深度图只需要大约35ms的时间。

2. 相关工作

3. 方法

目前,为大量场景获取深度图的真值是不现实的,而且即使是非常昂贵的硬件如激光扫描仪,在具有运动物体和反射情况的自然场景中也有可能不精确。作为替代方法,我们将深度估计作为图像重建问题。作者的直觉是,给定一对校准之后的双目摄像机,如果我们能学习从一个图像重建另一个图像的函数,那么我们就已经学习到场景3D形状中的一些信息。

作者的方法可以只用左视图同时输出左视图和右视图的视差图,通过迫使它们俩之间达成一致来得到更好的深度图。

由于我们想要得到左视图的深度图,因此Naive的方法并不适合;至于No LR,它在深度不连续处,视差图会出现纹理复制(texture-copy)的情况。因此作者最终提出了Ours的方法。

作者在编码器和解码器之间使用了skip connection,为了让网络在细节上处理得更好。作者没有给出网络结构的示意图,但是附了模型架构的表格,也是很直观的,编码器选用VG

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值