基于分段平面性的单目深度估计 P3Depth: Monocular Depth Estimation with a Piecewise Planarity Prior

P3Depth: Monocular Depth Estimation with a Piecewise Planarity Prior

面向可解释深度网络的单目深度估计

0 Abstract

  单目深度估计对于场景理解和后续任务至关重要，本文致力于改进监督方法，其中地面真值只在训练的时候使用。基于对真实3D场景高度规则性的了解，我们提出了一种学习有选择地利用共面像素信息来提升预测深度的方法。我们引入了一种分段平面性先验知识，即对于每个像素，有一个种子像素和前者共享相同的平面3D曲面。基于此，我们设计了一个两个头的网络。第一个投输出像素平面级系数，而第二个头输出密集偏移向量场，该向量场识别种子像素的位置，然后使用种子像素的平面稀疏来预测每个位置的深度，预测结果通过学习置信度自适应的和第一个头的初始预测进行融合，已解释与精准局部平面度的潜在偏差。所提方法可以实现预测规则的深度贴图，在遮挡边界处具有锋利的边缘。

1 Introduction

  深度估计是计算机视觉的一个基本问题。其被广泛用于机器人视觉和自动化驾驶骑车，有相关数据表明，深度信息是执行动作和语义分割最重要的视觉水平线索。监督单目深度最主要的问题是尺度模糊，因为相同图像的输入具有无限多3D场景的生成。
  目前解决这项任务的的趋势是使用完全卷积的神经网路哟啊来输出密集的深度预测，常用的方法有标准的监督深度和基于重建视图的自监督单目深度估计。目前大多数监督方法都是基于像素级的损失约束，这种方法忽略了3D世界的高度规则性，会生成分段平滑的深度贴图。
  对3D世界几何结构最常见的模型是采用平面描述，平面是局部可微深度图的局部一节泰勒近似，可以很容易的采用三个独立的系数进行参数化描