动态场景下的无监督单目深度学习 Unsupervised Monocular Depth Learning in Dynamic Scenes

Unsupervised Monocular Depth Learning in Dynamic Scenes

(动态场景下的无监督单目深度学习)

  在视频序列中，当运动前后两帧相隔时间较短时，我们认为两帧图片的位姿变化和明暗变化都是存在着一定的范围的，即有光度一致性和几何一致性损失。光度一致性：指在相邻的两帧之间同一个点的像素值集合不会有太大的变化。几何一致性损失：即两帧之间图片中的位姿变化不会有较大波动。
极线：如果曲线上两点A，B的切线交于P点，那么P点称为直线AB关于该曲线的极点，PA，PB称为P点的极线。
极线几何约束：常用于在两幅图片中查找相似的点，极线约束是一种点对直线的约束，它将查找范围从图片约束到一条直线。
光流：是空间运动物体在观察成像平面上像素的瞬时速度。
光流法：是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧和当前帧之间存在的某种对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
摘要：该论文主要是针对单目深度估计中的运动场景提出了一种联合训练的解决方案。采用相邻图片之间的光照一致性来作为唯一的监督手段（即无监督），但采用3D平移场的先验知识来进行正则化惩罚。20年的文章，效果要比加了语义分割的还要好。

1 Introduction

  深读估计的自监督学习来源于自运动结构（SFM），所以需要面对SFM的许多问题例如无纹理区域，遮挡，反射和运动对象。如果一个物体被判定为运动物体，那么它将携带4个未知数，即深度和三个运动分量（三个运动分量不是就够了吗？），而传统的极线几何约束无法消除歧义。所以传统的方法加入语义分割，先