R2LIVE论文翻译: A Robust, Rea-time, LiDAR-Inertial-Visual tightly-coupled state Estimator and mapping.

---

写在前面

文章参考:3D视觉工坊
论文原文:论文原文链接

摘要

本文提出一个鲁棒实时的多传感器紧耦合框架，可以融合激光雷达、惯导器件和相机的数据完成精确的状态估计。本文提出的框架由基于滤波方法的里程计模块和基于因子图的优化模块组成。为了保证实时性，我们只估计Kalman滤波器中的当前帧状态，然后在因子图优化环节进一步提高滑动窗口中的所有传感器位姿。得益于多模态传感器数据，我们的算法可以应对视觉退化、激光退化的场景，并且可以在端上计算平台实时运行。在我们采集的大量室内外数据上验证后，证明我们的框架得到的结果相对于其他先进的的激光-惯导里程计、视觉-惯导里程计方法提高了精度。

1. 引言

基于六自由度(DOF)估计自我运动的能力，同时构建周围环境稠密、高精度的地图,基于雷达的SLAM已广泛应用于自动驾驶车辆[1]、无人机[2,3]等领域。随着激光雷达技术的发展，低成本激光雷达（如 Livox 激光雷达[4]）的出现使激光雷达更容易获得。遵循这一趋势，一些相关的工作[5]-[8]引起了社区对这一研究领域的关注。然而，基于激光雷达的SLAM方法在那些很少有可用几何特征的情况下很容易失败（即退化），这对于那些具有小FoV[9]的激光雷达来说更为重要。在这项工作中，为了解决基于激光雷达里程计的退化问题，我们提出了一个激光雷达惯性-视觉融合框架，以获得更高的鲁棒性和准确性的状态估计。我们的工作的主要贡献是：

• 我们利用了来自激光雷达、惯性传感器和照相机传感器的测量数据，并以紧密耦合的方式融合它们。实验表明，我们的方法在各种具有挑战性的情况下，剧烈运动,传感器失效甚至是在狭窄隧道状环境中，有大量的移动物体和小的激光雷达视场也具有足够的鲁棒性。
• 我们提出了一个基于高速率滤波器的里程计和低速率因子图优化的框架。基于滤波器的里程计融合了雷达,惯性和相机传感器的测量数据,在误差状态迭代卡尔曼滤波器中实现实时性能.因子图优化细化了包含关键帧位姿和视觉路标点位置的局部地图.
• 通过紧耦合融合不同类型的传感器,我们实现了高精度的状态估计.试验结果表明我们的系统足够精确，可以用于重建大规模的、室内外密集的建筑结构三维图(见图。1).
  

我们的系统是精心设计和开源的1，以造福整个机器人社区。

2. 相关工作

在这一部分,我们回顾了与我们工作相关的现有工作,包括仅激光雷达的里程计和地图构建,激光雷达惯性融合和激光雷达惯性视觉方法.

A. 激光里程计与建图

zhang等人[10]首先提出了一个激光雷达里程计和建图框架LOAM，该方法将ICP方法[11]与点到平面和点到边缘的距离相结合。通过以不同的速度运行这两个模块，实现了良好的里程计和建图性能。为了使算法在计算有限的平台上实时运行，shan等[12]提出了一种轻量级的地面优化LOAM（Lego-loam），消除了地面分割步骤中不可靠的特征。这些工作主要是基于多线激光雷达。我们之前的工作[9,13]通过考虑具有小FOV(视场角)的固态激光雷达的低级物理特征，开发了一个精确和鲁棒的算法。然而，这些方法仅基于激光雷达测量，非常容易受到无特征的环境或其他退化情况的影响。

B. 激光惯性里程计

现有的激光雷达-惯性融合的工作可以分为两类：松耦合和紧耦合。松耦合方法分别处理两个传感器，以推断它们的运动约束，而紧耦合方法则通过联合优化直接融合激光雷达和惯性测量。与松散耦合方法相比，紧密耦合方法表现出较高的鲁棒性和准确性，因此近年来引起了越来越多的研究兴趣。例如，[14]的作者提出了一种基于激光雷达惯性里程计LIOM的先验和旋转约束优化方法的图优化。与前一种算法相比，LIO-SAM[15]在因子图中优化了关键帧姿态的滑动窗口，以获得更高的精度。同样，li等人也一样,提出了基于滑动窗口优化的传统和固态激光器的LiLi-OM算法[16]。LINS[17]是第一个通过迭代卡尔曼滤波解决6个自由度运动的紧密耦合的LIO。为了降低计算卡尔曼增益时的高计算负载，我们之前的工作快速Fast-LIO[5]提出了一个新的卡尔曼增益计算公式，结果的计算复杂度取决于状态维数而不是测量维数。这项工作在UAV上的嵌入式计算机上运行时，实现了高达50hz的里程计和建图速率。

C. 激光-惯性-视觉里程计

在激光雷达惯性方法的基础上，结合视觉传感器测量结果的激光雷达惯性视觉里程计具有较高的鲁棒性和精度。在[18]的工作中，激光雷达测量被用于为相机图像提供深度信息，形成一个类似于rgb-d相机的系统，可以利用现有的视觉SLAM工作，如ORB-SLAM[19]。这是一种松散耦合的方法，因为它忽略了激光雷达测量所施加的对状态的直接约束。zuo等人[20]提出了一种基于MSCKF框架的结合IMU测量、稀疏视觉特征、激光