基于transformer的多帧自监督深度估计 Multi-Frame Self-Supervised Depth with Transformers

Multi-Frame Self-Supervised Depth with Transformers

基于transformer的多帧自监督深度估计

0 Abstract

  多帧深度估计除了学习基于外观的特征外，也通过特征匹配利用图像之间的几何关系来改善单帧估计。我们采用深度离散的核极抽样来选择匹配像素，并通过一系列的自我和交叉注意力来细化预测，这构成了一种新的基于transformer的成本量。这种方式可以改善歧义和局部极小值的标准相似度。方法在KITTI和DDAD上进行测试，效果良好。

1 Introduction

  特征匹配是SFM的一个基本组成部分，其被广泛的用于深度估计、自我运动估计、光流和场景流等等。这些方法依靠特征匹配建立起图像之间的跨帧的对应关系，从而建立起一个视图到另一个视图的扭曲重投影损失，从而构建了自监督约束方式。虽然从训练的角度来说，自监督方式更具有挑战性，但是自监督方法可以利用大量未标记的数据，具有更广阔的使用范围。而目前的自监督方法已经超过了一些监督方法。
  单帧深度估计和多帧深度估计虽然在训练的时候都采用多帧输入，但是单帧自监督方法在测试的时候仅需要单帧输入，而多帧自监督在训练的时候需要多帧输入，这使得多帧方法在测试时多采用了时序信息和相邻帧之间的几何关系，在指标上多帧方法也普遍高于单帧方法。但是多帧方法很依赖特征匹配来构建帧间的对应关系，而缺乏纹理、重复、光度变化和动态对象会导致模糊和局部极小值。<