MonoFlex论文解读

Abstract        

原文

从单张图像中精确定位3D物体而没有深度信息是一个非常具有挑战性的问题。大多数现有方法对于所有物体都采用相同的方法，而不考虑它们的多样化分布，导致对截断物体的性能有限。本文提出了一种用于单目3D物体检测的灵活框架，该框架明确地将截断物体分离出来，并自适应地结合多种方法进行物体深度估计。具体来说，我们分离了特征图的边缘部分以预测长尾截断物体，从而不影响正常物体的优化。此外，我们将物体深度估计公式化为直接回归的物体深度和从不同组关键点解决的深度的不确定性引导集合。实验表明，我们的方法在KITTI基准测试集的中等难度水平上比最先进的方法相对提高了27%，在困难水平上提高了30%，同时保持了实时效率。代码将发布在 https://github.com/zhangyp15/MonoFlex。

总结

• 问题定义：

  • 挑战：从单张图像中检测3D物体而没有深度信息。
  • 限制：现有方法对所有物体采用相同的检测方法，导致对截断物体的检测效果不好。

• 解决方案：

  • 框架设计：提出了一种灵活的检测框架，将截断物体和正常物体分开处理。
  • 边缘分离：通过分离特征图的边缘部分，专门预测长尾截断物体，避免对正常物体优化的影响。
  • 深度估计方法：将物体深度估计公式化为不确定性引导的集合，这个集合结合了直接回归的深度和从不同组关键点解决的深度。

1.Introduction

原文

        3D物体检测是机器感知物理环境的一个不可或缺的前提，已被广泛应用于自动驾驶和机器人导航。在这项工作中，我们专注于仅使用单目图像信息来解决问题。大多数现有的3D物体检测方法需要激光雷达传感器[22, 33, 35, 40, 41, 49]进行精确的深度测量或立体相机[8, 24, 37, 45]进行立体深度估计，这大大增加了实际系统的实施成本。因此，单目3D物体检测成为一个有前途的解决方案，并在社区中受到广泛关注[2, 3, 7, 10, 13, 20, 27, 31, 34]。

        对于3D物体的挑战性定位，大多数现有方法采用统一的方法处理不同的物体。例如，[10, 25, 28, 52]利用全卷积网络使用共享内核预测不同分布的物体。然而，我们观察到，对所有物体进行相同的联合处理可能导致性能不满意：(1) 如图1所示，最先进的方法[3, 13]几乎无法检测到严重截断的物体，但这些物体对自动驾驶汽车的安全性非常重要。(2) 我们经验发现，这些难以检测的样本会增加学习负担并影响一般物体的预测。因此，统一的方法可能在找到每个物体和预测精确的3D位置方面都失败。为此，我们提出了一种灵活的检测器，考虑到物体之间的差异，并以自适应的方式估计它们的3D位置。由于物体3D位置的估计通常分解为找到投影的3D中心和物体深度[10, 28, 36, 52]，我们也从这两个方面考虑灵活性。

为了定位投影的3D中心，我们将物体分为其投影中心在图像“内部”或“外部”。然后，我们将内部物体精确表示为投影中心，将外部物体表示为精心选择的边缘点，使得两组物体分别由特征图的内部和边缘区域处理。考虑到卷积滤波器仍然难以处理空间变异预测，我们进一步提出边缘融合模块，以解耦外部物体的特征学习和预测。

为了估计物体深度，我们提出结合不同的深度估计器与不确定性估计[18, 19]。这些估计器包括直接回归[10, 25, 36, 52]和来自关键点的几何解[2, 5]。我们观察到，从关键点计算深度通常是一个超定问题，简单地平均不同关键点的结果[5]对关键点的截断和遮挡敏感。因此，我们进一步将关键点分成M组，每组正好足以解决深度问题。为了结合M个基于关键点的估计器和直接回归，我们对它们的不确定性进行建模，并将最终估计公式化为不确定性加权平均。所提出的组合使模型能够灵活选择更合适的估计器，以实现稳健和准确的预测。

在KITTI[14]数据集上的实验结果表明，我们的方法显著优于所有现有方法，尤其是在中等和困难样本上。本文的主要贡献可以总结为两个方面：(1) 我们揭示了在单目3D物体检测中考虑物体差异的重要性，并提出解耦截断物体的预测；(2) 我们提出了一种新的物体深度估计公式，利用不确定性灵活结合独立估计器。

• 方法细节：

  • 投影3D中心定位：
    • 对象分类：根据物体投影中心的位置，将物体分为在图像“内部”或“外部”。
    • 内部与外部处理：内部物体表示为投影中心，外部物体表示为边缘点，分别由特征图的内部和边缘区域处理。
    • 边缘融合模块：为了解耦外部物体的特征学习和预测，提出了边缘融合模块。
  • 物体深度估计：
    • 组合不同深度估计器：结合直接回归和来自关键点的几何解。