ICRA2023 | 通用、自动和无标定目标的Lidar-Camera外参标定工具箱

原文链接：https://arxiv.org/pdf/2302.05094.pdf

本文介绍了一种开源的激光雷达相机标定工具箱，该工具箱适用于激光雷达和相机投影模型，只需要一对激光雷达和相机数据，而无需标定目标，并且是全自动的。对于自动初始猜测估计，本文使用SuperGlue图像匹配pipeline来查找LiDAR和相机数据之间的2D-3D对应关系，并通过RANSAC估计LiDAR相机变换。给定初始猜测，论文基于归一化信息距离（一种基于互信息的跨模态距离度量），使用直接激光雷达相机配准来细化变换估计。为了方便标定过程，论文还提供了几种辅助功能（例如，动态激光雷达数据集成和用于手动进行2D-3D对应的用户界面）。实验结果表明，所提出的工具箱能够对旋转和非重复扫描激光雷达以及针孔和全向相机的任何组合进行标定，并且显示出比最先进的基于边缘对准的标定方法更好的精度和鲁棒性。

领域背景

激光雷达相机外部标定是估计激光雷达和相机坐标系之间的转换任务，它是LiDAR相机传感器融合的必要条件，在许多应用中都需要，包括自动驾驶汽车定位、环境测绘和周围物体识别。尽管在过去十年中，激光雷达相机标定已经得到了积极的研究，但机器人界仍然缺乏一个方便和完整的激光雷达相机标定工具箱。现有的激光雷达相机标定框架需要准备一个有时很难创建的标定目标，拍摄大量激光雷达相机数据，这需要花费大量的精力，或者仔细选择一个几何丰富的环境。此外，它们很少支持各种激光雷达和相机投影模型，例如旋转和非重复扫描激光雷达以及超宽FoV和全向相机。论文认为，缺乏易于使用的激光雷达相机标定方法一直是激光雷达相机传感器融合系统发展的长期障碍！

在此本文介绍了一个全新的完整LiDAR相机标定工具箱，该工具箱具有以下功能：

可推广：所提出的工具箱与传感器模型无关，可以处理各种激光雷达和相机投影投影模型，包括旋转和非反射扫描激光雷达以及针孔、鱼眼和全向投影相机，如图1（a）所示。

无目标：建议的标定算法不需要标定目标，而是使用环境结构和纹理进行标定。

single-shot：标定时，至少只需要一对激光雷达点云和相机图像。可选地，可以使用多个LiDAR相机数据对来进一步提高标定精度。

自动：为了使标定过程完全自动化，该系统包括基于SuperGlue的具有跨模态2D-3D对应匹配的初始猜测估计算法。

准确可靠：采用像素级直接激光雷达相机配准算法，在没有丰富几何特征的环境中稳健且准确地执行激光雷达相机标定，只要激光雷达和相机数据之间存在相互信息，现有的基于边缘对准的算法就会失败。

据本文所知，目前还没有具备上述所有功能的开放实现，该工具箱的发布将对机器人社区有益。本文的主要贡献如下：

1. 提出了一种基于2D-3D对应估计的鲁棒初始猜测估计算法。为了利用最近的基于图形神经网络的图像匹配，使用虚拟相机生成LiDAR强度图像，并找到LiDAR亮度图像和相机图像之间的对应关系。然后通过RANSAC和重投影误差最小化给出了激光雷达相机变换的估计。

2. 为了实现稳健和准确的标定，结合了基于归一化信息距离（NID）的直接激光雷达相机精配准算法、基于互信息（MI）的跨模态距离度量和基于视图的隐藏点去除算法，该算法过滤掉被遮挡的点，并且从相机的角度看不应该是可见的。

3. 整个系统经过精心设计，适用于激光雷达和相机投影模型，因此可应用于各种传感器模型。