VirtualPainting：新一代多传感器融合方案，大幅提升3D目标检测性能

本文链接：https://blog.youkuaiyun.com/soaring_casia/article/details/136230017

本文提出一种名为VirtualPainting的方法，通过生成LiDAR虚拟点并结合图像分割网络的语义信息，改善3D目标检测在稀疏点云上的性能。该方法通过深度补全网络生成虚拟点，结合距离感知数据增强技术，显著提高对远距离和遮挡物体的检测能力，尤其在自动驾驶领域有重要应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文标题：VirtualPainting: Addressing Sparsity with Virtual Points and Distance-Aware Data Augmentation for 3D Object Detection

论文作者：Sudip Dhakal, Dominic Carrillo, Deyuan Qu, Michael Nutt, Qing Yang, Song Fu

导读： 本文提出了一种新颖的方法，它利用图像生成LiDAR虚拟点，通过基于图像的分割网络提供的语义标签来增强这些虚拟点，从而克服点云的稀疏性问题，提高了对稀疏分布对象的检测能力，有效解决了自动驾驶领域的一大痛点。©️【深蓝AI】编译

1.问题引入

3D目标检测在增强自动驾驶汽车场景理解方面起着关键作用。近年来出现了许多3D目标检测方法，这些方法主要利用来自LiDAR和相机传感器的信息来感知周围环境，LiDAR提供具有低分辨率的形状和深度信息的点云，而相机捕获包含丰富的颜色和纹理的图像。

虽然近期基于多模态的3D目标检测取得了明显进步，但它们在处理稀疏点云数据的性能方面依然存在不足。有学者提出了点装饰融合方法试图解决这个问题，如PointPainting，这些方法用相机特征装饰LiDAR点。然而，对于那些缺少相应点云的对象，如远距离和遮挡对象，处理它们的效果仍然不理想。即使这些对象的相机特征有所保留，但如果缺乏关联的点云特征，它们也无法被有效地检测到。所以说，这些方法性能仍然会受到LiDAR点云数据稀疏性的限制，如图1所示。

在这里插入图片描述
图1｜基于绘制方法的局限性。黄圈部分表示图像投影中缺少点云的区域，红框部分表示由于点云稀疏而导致的检测失败的例子。尽管在黄圈内有一些语义线索，但由于没有LiDAR点，这些语义线索无法与LiDAR数据融合。

为了处理LiDAR数据的稀疏性，一些方法采用了生成虚拟点的方法——通过在现有的LiDAR点周围引入「补充点」来增强稀疏点云。例如，MVP 通过使用距离最近的3D点生成虚拟点，以补充2D实例点的深度信息。类似地，SFD也会基于深度补全网络创建虚拟点。这些虚拟点在增强远距离对象的几何表示方面发挥了重要作用（然而，现有的方法还无法充分将语义网络的语义输出与虚拟点结合）。将语义信息融入到增强的点云（包括原始和虚拟点）中，不仅丰富了数据集，而且提高了模型的整体鲁棒性。

目前的大多数融合方法主要集中在不同的融合阶段：