ICCV2023 | Robo3D：对抗损坏数据的鲁棒可靠的3D感知网络-优快云博客

编辑 | 自动驾驶与AI

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

本文只做学术分享，如有侵权，联系删文

自动驾驶之心原创 · 作者 | xxx

编辑 | 自动驾驶之心

❝
论文：https://arxiv.org/abs/2303.17597

代码：https://github.com/ldkong1205/Robo3D

作者单位：上海人工智能实验室新加坡国立大学 Hochschule Bremerhaven 华东师范大学香港大学南洋理工大学S-Lab

论文思路：

3D感知系统在环境和传感器的自然损坏下的鲁棒性是安全应用的关键。现有的大规模三维感知数据集通常包含经过精心清理的数据。然而，这样的配置不能反映部署阶段感知模型的可靠性。在这项工作中，本文提出了Robo3D，这是第一个旨在探测在分布外场景下的3D检测器和分割器的鲁棒性，以防止在现实世界环境中发生的自然破坏的全面的基准。具体来说，本文考虑了八种来自恶劣天气条件、外部干扰和内部传感器故障的损坏(corruptions)类型。本文发现，尽管在标准基准上逐步取得了令人鼓舞的成果，最先进的3D感知模型存在面临损坏存在脆弱的风险。本文对数据表示、增强方案和训练策略的使用进行了重点观察，这些可能会严重影响模型的性能。为了追求更好的鲁棒性，本文提出了一个密度不敏感的(density-insensitive)训练框架和一个简单灵活的体素化策略来提高模型弹性(resiliency)。本文希望本文的基准和方法可以启发未来的研究，设计更鲁棒和可靠的3D感知模型。本文的鲁棒性基准测试套件是公开可用的。

主要贡献：

本文提出Robo3D，第一个系统设计的基于LIDAR的3D感知在损坏和传感器故障情况下的鲁棒性验证套件。

本文测试了34个基于LiDAR的语义分割和3D目标检测任务的感知模型，测试它们对损坏的鲁棒性。

基于本文的观察，本文对 design receipt 进行了深入的讨论，并提出了新的技术来构建更鲁棒3D感知模型。

网络设计：

图1:Robo3D基准的分类。本文模拟了三种类别的8种损坏类型:1)恶劣的天气条件，如雾、雨、雪;2)由运动模糊或LiDAR波束丢失引起的外部干扰;3)内部传感器故障，包括LiDAR串扰、可能的不完全回波和交叉传感器场景。每个损坏根据其严重程度进一步分为三个级别(轻、中、重)。

图5:提出的密度不敏感训练框架。将“完整”点云和“部分”点云分别送入教师分支和学生分支进行特征学习，学生分支由随机掩码原始点云生成。为了鼓励交叉密度一致性，本文计算补全和确认损失，测量子采样的教师预测和插值后的学生预测在另一个分支的输出之间的距离。

在这项工作中，不同于上述两个方向，本文的目标是理解在真实世界的损坏和传感器故障下模型恶化的原因。目前的三维感知模型从LiDAR传感器或RGB-D相机学习点特征，由于数据收集、处理、天气条件和场景复杂性等问题，数据的损坏是不可避免的。虽然最近的工作目标是从室内场景[28]或以对象为中心的CAD模型[60,88,2]中创建损坏点云，但本文模拟了复杂的室外驾驶场景中的大规模LiDAR点云的损坏[19,4,7,61]。如图1所示，本文考虑了三种不同的损坏源，它们在部署中极有可能发生:1)导致激光脉冲反向散射、衰减和反射的恶劣天气(雾、雨和雪)[22,21,59]; 2)外部干扰，如凹凸不平的表面、灰尘、昆虫等，往往会导致不可忽略的运动模糊和LiDAR波束缺失问题[44]; 3)内部传感器故障，如颜色较深的实例(如黑色汽车)回声不完整或漏检，多个传感器间串扰等，可能会降低感知精度[82,6]。除了环境因素外，了解传感器间的差异对于避免传感器配置变化引起的突然故障也很重要。

为了适当地实现这种追求，本文在KITTI[19]、SemanticKITTI[4]、nuScenes[7]和Waymo Oepn[61]的val集合上模拟了物理上的原则性损坏，本文的损坏套件被称为Robo3D。与流行的2D损坏基准类似[24,80,39]，本文为每个损坏创建了三个严重级别，并设计了合适的指标作为鲁棒性比较的主要指标。最后，本文进行了详尽的实验，以了解不同设计从现有模型的利弊。本文注意到，现代3D感知模型存在脆弱的风险，尽管它们在标准基准上的表现正在改善。通过对大范围的三维感知数据集的细粒度分析，本文诊断出:1)传感器设置对特征学习有直接影响。根据不同传感器配置和协议收集的数据训练的模型产生不一致的弹性。2)三维数据表示往往伴随着模型的鲁棒性。体素和点体素融合方法明显优于基于投影的方法。3)检测器和分割器对不同的损坏类型是敏感的。这两个任务的复杂组合是实现鲁棒和可靠的3D感知的可行方法。4)上下文外增强(Out-of-context augmentation, OCA)和灵活的栅格化策略可以提高模型的鲁棒性。因此，本文提出一种解决方案来增强三维感知模型的鲁棒性，该方案包括一个密度不敏感的训练框架和一个简单灵活的体素化策略。

实验结果：

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）