Multi-Modal 3D Object Detection in Long Range and Low-Resolution Conditions of Sensors

多模态长距离低分辨率传感器条件下的3D物体检测

慕尼黑工业大学计算机、信息与技术学院 - 信息学

随着自动驾驶车辆和智能交通系统的兴起，强大的3D物体检测变得至关重要。这些系统通常面临由于远距离和遮挡的物体，或低分辨率传感器导致的数据稀疏性的挑战，这可能影响性能。本论文主要研究了时间信息对两个来自不同领域的数据集 - 具体而言是TUMTraf-i [Zim+23b]和OSDaR23 [Tag+23]的物体预测准确性的影响。

我们提出了Temporal Fuser（TF），该方法吸收先前帧以在鸟瞰图级别精炼特征，以及Temporal-Aware Ground Truth Paste（TA-GTP）数据增强方法，该方法通过增加具有时间一致性的移动和旋转虚拟对象来增强训练场景。

这些提出的方法已经集成到我们定制的Temporal Pipeline中，该管道建立在BEVFusion [Liu+22]之上，通过在线缓存机制促使快速推断，同时确保所有现有增强方法在训练阶段具有时间一致性。为了确保我们的评估在整个时间上与时间动态相关，我们实现了一种新颖的Temporal Dataset Split Search算法。该算法通过考虑物体的自定义属性找到数据集的最佳分割，确保分割在类别多样性以及与自定义属性（如距离自车位置的距离、边界框内点的数量和遮挡级别）的平衡。

当结合使用时，我们的方法在所有数据集和各种模态的不同组合上均取得了显著的性能改进。我们通过广泛的定量结果展示了它们在不同距离的物体上的有效性，并通过详细的可视化演示了我们的方法如何预测远距离或遮挡的物体。此外，我们还展示了我们的方法在点云数量减少的场景中的性能，进一步模拟低分辨率传感器引起的稀疏性。为了确保每种方法在单独使用时的有效性，我们对Temporal Fuser（TF）、Temporally-Aware Ground Truth Paste（TA-GTP）和Temporal Loading的组成部分进行了彻底的消融研究，从而验证了我们提出的方法。