X射线蒸馏：解决遮挡与稀疏点云3D目标检测

X射线蒸馏：解决遮挡与稀疏点云3D目标检测

Abstract

本文解决了基于LiDAR的3D目标检测中稀疏性和遮挡性所带来的关键挑战。当前方法通常依赖于补充模块或特定的架构设计，可能会限制其在新兴架构中的适用性。据我们所知，我们是第一个提出一种可以无缝集成到任何现有3D目标检测框架中的通用技术的研究，标志着3D计算机视觉中弱到强泛化的首次实例。我们引入了一个新颖的框架——利用对象完整帧的X射线蒸馏技术，适用于监督和半监督设置，充分利用了点云序列的时间维度特性。该方法从前后LiDAR帧中提取关键信息，创建代表多视角物体的对象完整帧，从而解决遮挡和稀疏性问题。鉴于在在线推理过程中无法生成对象完整帧的限制，我们在教师-学生框架中采用了知识蒸馏技术。这一技术促使强大的学生模型模仿处理简单且信息丰富的对象完整帧的较弱教师的行为，实际上提供了如同透过X射线观察物体的综合视角。我们提出的方法在半监督学习中超越了当前最先进的方法，提升了1-1.5 mAP的性能，并在标准自动驾驶数据集上提升了五个已有监督模型1-2 mAP的表现，即使在默认的超参数下。

代码地址：

https://github.com/sakharok13/X-Ray-Teacher-Patching-Tools

 

Introduction

3D目标检测是计算机视觉和自主系统领域的基础任务，在推动自动驾驶技术发展中起着关键作用，并对机器人行业做出了重要贡献。目前，基于LiDAR的3D目标检测表现优于基于摄像头的和基于雷达的方法。此外，LiDAR点云是多模态融合方法的关键组成部分，因此，基于LiDAR的3D检测仍然是研究界的重点。
基于点云的3D目标检测面临以下挑战：稀疏性、遮挡和3D数据标注的复杂性。稀疏性：由于LiDAR传感过程的固有特性，大规模点云数据是稀疏的，导致对捕获场景的表示不准确。遮挡：另一个问题是LiDAR帧中部分遮挡的频繁出现。这主要是因为这些帧是从一个固定的视角获取的，实质上是2.5D的。最后，数据标注是3D目标检测中一个艰巨的挑战，因为在三维空间中标注物体的复杂性。
我们通过名为X射线蒸馏与对象完整帧的新框架，解决了3D目标检测中的所有三个主要挑战，该框架可以轻松插入现有方法和新架构中。

它被设计为通用应用于任何基于LiDAR的检测器，提高对稀疏和遮挡物体的检测性能。我们的方法利用了现有大型自动驾驶数据集的属性，这些数据集由一系列LiDAR帧组成。该属性使得可以使用序列中对象的其他出现情况来重建遮挡物体的完整形状，确保所有对象都具备来自场景中所有可用视角的点。然后，我们在教师-学生框架中使用这些完整数据，进行半监督学习和监督环境下的知识