KITTI单目榜首！MonoLiG：基于LiDAR引导的半监督主动学习3D检测

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

>>点击进入→自动驾驶之心【3D目标检测】技术交流群

论文作者 | 汽车人

编辑 | 自动驾驶之心

【KITTI 单目3D榜首，MonoLiG：基于激光雷达引导的半监督主动学习的单目3D目标检测方法】选择策略始终优于最先进的主动学习基线，在标签成本方面的节约率高达17%。训练策略通过将BEV平均精度（AP）提高2.02，在KITTI 3D和BEV单目目标检测官方基准中位居榜首。

题目：Monocular 3D Object Detection with LiDAR Guided Semi Supervised Active Learning

作者单位：慕尼黑工业大学，宝马

作者提出了一种新的半监督主动学习（SSAL）框架，用于采用激光雷达监督的单目3D目标检测（MonoLiG），该框架利用了模型开发过程中所有收集数据的手段。作者利用激光雷达来指导单目3D检测器的数据选择和训练，而不会在推理阶段引入任何开销。在训练过程中，利用半监督学习中的激光雷达教师、单目学生跨模态框架，从未标注的数据中提取信息作为伪标签。为了处理传感器特性的差异，作者提出了一种基于数据噪声的加权机制，以减少噪声从激光雷达模态传播到单目的影响。为了选择标注哪些样本以提高模型性能，提出了一种基于传感器一致性的选择分数，该分数也与训练目标一致。

在KITTI和Waymo数据集上的大量实验结果验证了提出的框架的有效性。特别是，选择策略始终优于最先进的主动学习基线，在标签成本方面的节约率高达17%。训练策略通过将BEV平均精度（AP）提高2.02，在KITTI 3D和BEV单目目标检测官方基准中位居榜首。

论文主要贡献

• 提出了MonoLiG，这是一个由连贯的选择和训练阶段组成的新框架。所提出的策略分别优于AL和SSL基线，并且在一致使用时实现了最佳性能。

• 通过调整师生范式和添加不一致术语来扩展当前AL选择的不确定性策略，从而获得比SOTA AL基线更好的数据节约率。

• 在跨模态教师-学生SSL方法中识别了从教师到学生模型的潜在误差传播，并提出了一种基于教师任意不确定性的伪标签加权机制。我们提出的训练策略定义了一种新的SOTA，用于KITTI测试基准中的单目3D检测。

网络结构

MonoLiG框架说明。在训练阶段，1）训练一个激光雷达检测器作为我们的教师模型。2） 使用它对未标记数据的预测，生成伪标签，并基于任意不确定性分配置信度。3） 用SSL训练一个单目检测器作为我们的学生模型。在选择阶段，根据学生模型的认知不确定性、教师和学生的预测之间的不一致性以及教师的数学不确定性来选择样本！

实验结果

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！