CVPR2023 | 3D Data Augmentation for Driving Scenes on Camera

3D Data Augmentation for Driving Scenes on Camera

摄像机驾驶场景的 3D 数据增强

摘要翻译

驾驶场景极其多样和复杂，仅靠人力不可能收集到所有情况。虽然数据扩增是丰富训练数据的有效技术，但自动驾驶应用中现有的摄像头数据扩增方法仅限于二维图像平面，在三维真实世界场景中可能无法最佳地增加数据多样性。为此，我们提出了一种名为 Drive-3DAug 的三维数据增强方法，旨在增强三维空间中摄像头拍摄的驾驶场景。我们首先利用神经辐射场（NeRF）重建背景和前景物体的三维模型。然后，将位置和方向经过调整的三维物体放置在预定义的背景有效区域，就可以获得增强的驾驶场景。因此，可以有效地扩大训练数据库。然而，三维物体建模受限于图像质量和有限的视角。为了克服这些问题，我们对原始 NeRF 进行了修改，引入了几何矫正损失和对称感知训练策略。我们在 Waymo 和 nuScences 数据集上评估了我们的方法在仅摄像头的单目 3D 检测任务中的应用。在 Waymo 和 nuScences 数据集上，我们提出的数据增强方法分别提高了 1.7% 和 1.4% 的检测准确率。此外，构建的三维模型可作为数字驾驶资产，并可用于不同的检测器或其他三维感知任务。

论文总结

论文《3D Data Augmentation for Driving Scenes on Camera》提出了一种名为Drive-3DAug的3D数据增强方法，用于丰富自动驾驶应用中的训练数据。该方法利用神经辐射场（NeRF）重建背景和前景对象的3D模型，然后将这些对象放置在背景的预定义有效区域中，以创建增强的驾驶场景。作者通过引入几何校正损失和对称感知训练策略来解决3D对象建模的挑战。所提出的方法在Waymo和nuScenes数据集上进行了摄像头