ICCV 2023 | ReDB：可靠、多样、类平衡的域自适应3D检测新方案！

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

今天自动驾驶之心很荣幸邀请到Zhouxiao Chen来分享，如果您有相关工作需要分享，请在文末联系我们！

>>点击进入→自动驾驶之心【3D目标检测】技术交流群  

论文作者 | Zhouxiao Chen

编辑 | 自动驾驶之心

很荣幸受邀分享我们ICCV 2023中稿的域自适应3D目标检测工作—ReDB。

随着基于激光雷达的3D物体检测在各种应用领域（如机器人系统和自动驾驶汽车）中获得越来越多的支持，将检测器部署到现实世界场景中面临着越来越大的挑战。主要障碍源于训练和测试点云数据之间的差异，这些数据通常来自不同的场景、位置、时间和传感器类型，从而产生了“域差异”。

这种域差异主要来自“ object shift”和“environmental shift”，并且可以显著降低3D检测器的预测准确性。物体移位是指训练和测试域之间对象的空间分布、点密度和比例尺的变化。例如，Waymo数据集中汽车的平均长度与KITTI数据集中汽车的平均长度相差约0.91米。另一方面，环境移位则源于周围环境的差异，例如激光束数、角度、点云范围和数据采集位置的不一致。例如，在图中，Waymo通过64束激光雷达传感器生成3D场景，而nuScenes则由32束较稀疏的环境和双倍大的激光束角度组成。物体移位和环境移位的共存对于3D检测模型在野外部署构成了巨大的挑战。

为了解决这个问题，研究人员提出了基于域自适应的3D检测方法，用于适应从不同分布（即目标域）的无标签数据到经过标记的数据集（即源域）上训练的模型。在这个领域中，ST3D的开创性研究提出了一种自训练范式，可以生成伪标记的边界框以监督后续对目标点云的学习。在同一思路下，后来的研究主要关注于点云域自适应，通过学习点云的特征表示来消除不同域之间的差异。这些方法在一定程度上提高了3D检测的泛化能力，但仍存在一些问题。例如，它们需要大量的无标签数据来进行自适应学习，这在现实世界中可能不太可行。此外，它们可能会引入伪标记或者噪声数据，从而导致模型性能下降。

另一方面，一些基于深度学习的3D检测方法采用了多任务学习范式，将3D检测任务与其他相关任务（如语义分割、实例分割和深度预测）结合起来，以提高模型的泛化能力和鲁棒性。这些方法可以共享网络的特征表示，从而具有更好的通用性和可扩展性。此外，它们还可以通过学习不同任务之间的关系来进行域自适应，从而进一步提高模型的性能。

总的来说，基于域自适应和多任务学习的3D物体检测方法是当前研究的热点方向。未来的研究将继续探索如何更好地利用无标签数据和多模态数据，以及如何更有效地解决域差异问题，从而实现更准确、更鲁棒和更普适的3D物体检测。

1. 方法

首先来看整体框架，论文提出了一种用于无监督域自适应3D物体检测的方法。其主要目标是将在源域中训练的3D物体检测器适应到目标域中的未标记数据上。该方法包括三个阶段：第一阶段是在源域上使用标准的随机对象缩放（ROS）数据增强方法预训练3D检测器，第二阶段是利用预训练的检测器生成目标域数据的伪标签，并通过交叉域检查（CDE）策略和基于对象多样性的下采样模块（OBC）形成可靠和多样化（ReD）对象子集。第三阶段是在目标点云中随机注入ReD目标对象和源对象，并逐渐降低源样本的比例，以达到模型自训练的目的。在第二阶段和第三阶段之间交替进行，以逐步适应目标域。

Reliability: Cross-domain Examination

提出的交叉域检验（CDE）策略旨在识别对环境变化具有鲁棒性的高质量伪标签。首先，给定在源域上预训练的3D检测器，我们可以通过对目标点云进行推断来得到初始的伪标签。其中是预训练权重，表示置信度大于预设阈值的伪标签，表示获得的伪标签数量。

为了获得真实的源环境，我们随机采样一个源点云，并将落在中的目标点云复制并粘贴到采样的源点云中，如图所示。为了避免现有点和要粘贴的伪点之间的冲突，我们使用对象点移除运算符，删除源点云中与复制的目标样本重叠区域中的源点。现在，我们可以将目标点移动到源点云中，得到，其中表示点连接。我们针对合并后的源点云生成高置信度的新预测，如下所示：

其中表示更新后源点云中的框的数量。

为了检查伪标签对环境变化的鲁棒性，我们计算初始预测框与其在源环境中对应的预测之间的交并比（IoU）。通过将IoU与预定义的IoU阈值进行比较，我们可以使用以下标准有效地区分可靠的伪标签和不可靠的伪标签：

我们仅在第一轮伪标签生成时应用CDE，因为预训练的检测器对目标环境没有任何了解。CDE策略的流程如图所示，其包含三个示例以进行说明。

Diversity: OBC-based Downsampling

为了确保伪标签集合具有代表性，包含目标数据的广泛几何特征，我们研究如何正确地衡量对象的多样性。我们提出了重叠框计数（OBC）的概念，它计算具有IoU > δobc的预测框的数量。OBC可以全面反映对象的几何特征的独特性，包括尺度、位置和点密度等。我们使用条形图显示不同OBC值的频率，并将其与核密度估计（KDE）拟合，以估计OBC值的概率密度函数（PDF）。为了获得多样化的子集并排除高密度区域中的伪标签对象，我们利用反KDE函数来为落在密集区域中的伪标记对象分配低采样权重，而为尾部区域中的对象分配高采样概率。具体来说，我们首先收集所有OBC值的集合O，其基数为。对于每个伪标签框，我们使用函数来计算其OBC值。我们可以使用有限集计算O的随机变量的带有高斯核的KDE，其中：

其中是标准差。从反KDE中均匀下采样大小为的采样子集，其中是下采样率。最后，采样子集包含具有更均匀分布的OBC值的伪标签对象，表明具有更多不同的几何特征，如对象尺度、距离和密度。

Balance: Class-balanced Self-Training

尽管OBC-based downsampling可以创建一个可靠的、类内多样化的（ReD）伪标签池，但跨类别的不平衡问题仍然对多类别适应性构成挑战。我们旨在利用类平衡的范例，在自训练阶段将生成的伪标签注入每个目标点云中：

其中表示点云连接，的上标表示伪标签的预测类别，是每个类别的目标ReD标签的采样数。为了调节和稳定适应过程，我们通过ROS增强将源GT标签注入目标数据中：

其中是每个类别的GT采样数，是包含所有源点云标记框的源GT池。我们在自训练过程中逐渐增加并减少，以使3D检测器能够平稳地推广到目标域。最后，我们将采样的目标伪标签ReD框和源GT框连接到初始伪标签上，其中包括分别位于目标ReD框和源GT框内的点和：

最终，我们将每个目标点云增强为具有类平衡的ReDB伪标签，并将检测器训练为：

我们交替生成目标伪标签（阶段2）和自我训练模型（阶段3），直到3D检测器完全优化.

2. 实验

这张表格展示了从Waymo和nuScenes领域到KITTI数据集的三个自适应任务的结果。结果以鸟瞰视图（BEV）和汽车、行人和骑行者的3D检测的平均精度（AP）为指标，分别将IoU阈值设为0.7、0.5和0.5。最后一列显示了所有类别的平均AP。最佳自适应结果用粗体表示，提出的方法所在行用颜色标出。

对于Waymo KITTI任务，所提出的名为ReDB的方法在平均AP方面表现最佳，得分为61.14。ReDB在汽车和骑行者检测方面表现最佳，并在行人检测方面排名第二。仅使用源域数据的方法表现最差，平均AP为28.83。所有自适应方法都能提高性能，ST3D++方法在平均AP方面排名第二，得分为47.97。假设目标域中有真实标签的Oracle方法获得了最高的平均AP，为58.37。

对于Waymo nuScenes任务，所提出的ReDB方法在平均AP方面也表现最佳，得分为13.05。ReDB在汽车和骑行者检测方面表现最佳，并在行人检测方面排名第二。仅使用源域数据的方法表现最差，平均AP为6.22。所有自适应方法都能提高性能，ST3D++方法在平均AP方面排名第二，得分为8.16。假设目标域中有真实标签的Oracle方法获得了最高的平均AP，为21.84。

对于nuScenes KITTI任务，所提出的ReDB方法在平均AP方面也表现最佳，得分为26.11。ReDB在汽车检测方面表现最佳，并在行人和骑行者检测方面排名第二。仅使用源域数据的方法表现最差，平均AP为8.98。所有自适应方法都能提高性能，ST3D方法在平均AP方面排名第二，得分为23.64。假设目标域中有真实标签的Oracle方法获得了最高的平均AP，为58.37。

所提出的ReDB方法在所有三个自适应任务中表现最佳，证明了它在不同领域中适应目标检测模型的有效性。

这张表格展示了在nuScenes KITTI任务中，使用PointRCNN骨干网络的不同方法在3D和BEV平面上的平均精度（AP）得分。结果以三个类别的难易程度（Easy、Mod.、Hard）和所有类别的平均AP为指标。其中，红色双号标记表示原始论文中仅适应单个类别的结果。

对于3D检测，所有自适应方法的性能都优于只使用源域数据的方法，其中ReDB方法在所有类别和平均AP方面均表现最佳。与其他方法相比，ReDB在汽车和行人检测方面表现最佳，并在骑行者检测方面排名第二。与原始论文中的方法相比，ReDB的平均AP得分（40.97）明显优于SF-UDA（45.00）和MLC-Net。

对于BEV检测，所有自适应方法的性能也都优于只使用源域数据的方法，其中ReDB方法在所有类别和平均AP方面均表现最佳。与其他方法相比，ReDB在所有类别和平均AP方面均表现最佳。与原始论文中的方法相比，ReDB的平均AP得分（48.00）明显优于ST3D++（40.82）和SN（33.67）。

综上所述，ReDB方法在nuScenes KITTI任务中表现最佳，无论是在3D检测还是BEV检测方面，都优于其他自适应方法和只使用源域数据的方法。

3. 讨论

ReDB方法的主要优点在于它能够有效地利用源域和目标域之间的相似性，通过重新分配目标域数据的权重，更好地适应目标域的特点。另外，ReDB方法还能够自适应地选择特征通道，从而进一步提高检测性能。此外，该方法的计算量相对较小，因此可以在实际应用中得到广泛应用。

然而，ReDB方法的缺点是在进行自适应时，需要对目标域数据进行重新分配权重，这可能会导致一定程度的信息丢失。此外，该方法的性能仍然受限于源域和目标域之间的相似性，当两个域之间差异较大时，该方法的性能可能会下降。

针对这些限制，可以进一步改进ReDB方法。例如，可以探索更好的权重分配策略，以减少信息丢失，并进一步提高性能。另外，可以考虑使用更先进的特征选择方法，以提高检测性能。此外，可以探索如何在不同领域之间建立更好的相似性度量方法，以进一步提高方法的鲁棒性和适用性。

4. 结论

本文提出了一种基于重新分配目标域数据权重的自适应方法ReDB，用于解决目标检测中跨领域问题。该方法能够有效地利用源域和目标域之间的相似性，通过重新分配目标域数据的权重，更好地适应目标域的特点。实验结果表明，ReDB方法在nuScenes KITTI任务中表现最佳，在3D和BEV检测方面都优于其他自适应方法和只使用源域数据的方法。此外，该方法的计算量相对较小，因此可以在实际应用中得到广泛应用。本研究提出了一种有效的自适应方法，可以在目标检测任务中解决跨领域问题。未来的研究可以进一步探索和改进该方法，以提高其性能和适用性。

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！