粒度语义感知表示增强的自监督单目深度估计 Fine-grained Semantics-aware Representation Enhancement

Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation

用于自监督单目深度估计的细粒度语义感知表示增强

0 Abstract

  自监督单目深度估计由于其实用价值和最近的一些有前途的改进从而得到了人们广泛的关注。然而，大多数研究工作忍受着光度损失的有限性，尤其是在弱纹理和对象边界。为了克服这一缺点，本文提出了一种跨域的语义辅助手段，本文目的在于通过隐士语义知识增强几何表示。提出了两种方法，一个是语义引导的局部几何优化中间深度表示的度量学习方法，另一个是提出一种新的特征融合模块，该模块利用两种异构特征表示之间的跨模态。

1 Introduction

  深度估计是机器人、增强实现和自动驾驶中的一项关键任务。它从成像设备中测量全部或部分像素到传感器中目标物体的距离。但配备此类设备需要高成本和设备的高强度运行，这使得深度估计受到限制。单目深度估计可以在不进行额外测量的情况下给定2D图像中的深度，它有助于从捕获的场景中理解三维场景中的几何体，从而缩小物理世界和图像之间的尺寸差距。
  由于其重要性和成本效益，已有许多研究者提高了深度估计精，时间一致性和深度范围。神经网络的发展对于单目深度估计做出了巨大的贡献。
  现有的许多深度估计方法采用合成数据计算的标签或者是深度传感器的标签来作为网络训练的约束方式。尽管这些方法在深度估计方面有了显著性的改进，但是他们仍然存在标签获取的高成本、有限的可用的地面真实深度数据、采样数据的有限深度和深度