Weakly supervised monocular 3d object detection using multi-view projection and direction consistenc

Abstract

单目三维目标检测因其易于应用而成为自动驾驶领域的主流检测方法。一个突出的优点是在推理过程中不需要激光雷达点云。然而，目前大多数方法仍然依赖于3D点云数据来标记训练阶段使用的地面真相。这种训练和推理的不一致性使得大规模反馈数据难以利用，增加了数据收集的费用。为了弥补这一缺陷，我们提出了一种新的弱监督单眼三维目标检测方法，该方法可以只使用图像上标记的二维标签来训练模型。具体来说，我们在这个任务中探索了三种类型的一致性，即投影一致性、多视图一致性和方向一致性，并基于这些一致性设计了一个弱监督架构。此外，我们提出了一种新的二维方向标注方法，以指导模型进行准确的旋转方向预测。实验表明，弱监督方法与一些完全监督方法的性能相当。当用作预训练方法时，我们的模型仅使用1/3的3D标签就可以显著优于相应的完全监督基线。

网络架构图

图2。所提出方法的体系结构。左列表示在训练阶段，将不同视点的图像对送入检测模型，在预测结果与二维地面真值之间计算4个损失。右列显示了投影一致性和多视图一致性的详细信息。为了计算投影一致性损失，我们将预测框投影到二维图像中，并将其转换为二维框，最后计算二维框与二维框标签之间的差异。

为了计算一致性损失，我们首先将视点1的预测3D盒转换到视点2的坐标系中，然后计算转换后的盒与视点2的预测盒的差值。

methods

本文提出的方法是一种弱监督的单目 3D 物体检测方法，仅使用 2D 标签进行训练。以下是该方法的关键组成部分：