R3LIVE论文阅读

已于 2022-05-09 15:20:56 修改
阅读量820 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 多传感器融合SLAM 文章标签： 自动驾驶 计算机视觉 算法
于 2022-05-09 15:07:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JaydenQ/article/details/124647219

R3LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package
作者：Jiarong Lin and Fu Zhang（香港大学)
视频：视频链接
开源代码：代码
论文地址：论文原文

文章概述

R3LIVE 是一个面向各种应用的多功能系统，不仅可以作为实时机器人应用的SLAM系统，还可以为测绘等应用重建稠密的、精确的RGB色彩3D地图。开发了一系列用于重建和纹理化网格的离线实用程序。
R3LIVE 包含两个子系统：
LIO激光雷达-惯性里程计系统（FAST-LIO）：利用LiDAR和惯性传感器的测量结果构建全局地图的几何结构（使用LIO确定3D点的位置）。通过最小化点到平面的残差来估计系统的状态
VIO视觉-惯性传感器系统：利用视觉-惯性数据来渲染地图的纹理（3D点的颜色）。
VIO子系统通过通过最小化帧到帧 PnP 重投影误差和帧到地图光度误差来更新系统状态。
在这里插入图片描述
本文的LIO部分和Fast-LIO相同没做过多介绍，其代码部分见Fast-lio代码，论文见论文。
文章理论部分主要在VIO做了改进分为三个大部分：

  1. 两帧之间的重投影误差：计算重投影误差，使用误差状态的卡尔曼滤波更新状态估计。
    在这里插入图片描述

  2. 每一帧和地图的光度误差：计算光度误差，并使用误差状态的卡尔曼滤波更新状态。
    在这里插入图片描述

  3. 渲染全局地图的纹理：在frame-to-map VIO更新之后，我们有了当前图像的精确位姿，然后我们执行渲染函数来更新地图点的颜色。
    在这里插入图片描述

实验

  1. 激光雷达退化和视觉无纹理环境下的鲁棒性评估
    在这里插入图片描述
    2.高精度建图大型室内外城市环境
    在这里插入图片描述
    3.基于D-GPSRTK的精度定量评价
    4.运行时间分析
    5.网格重建和纹理处理
    在这里插入图片描述
    6.面向各种3D应用程序
    在这里插入图片描述
    在这里插入图片描述
R3LIVE：一个实时鲁棒、带有RGB颜色信息的激光雷达-惯性-视觉紧耦合系统（香港大学）
惊鸿一博
02-02 4997
基本情况 出处：R3LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package 作者：Jiarong Lin and Fu Zhang（香港大学) 视频：https://www.bilibili.com/video/BV1d341117d6?p=1&share_medium=android&share_plat=a..
R3LIVE：一个实时鲁棒、带有RGB颜色信息的激光雷达-惯性-视觉紧耦合系统（香港大学）...
3D视觉工坊
09-14 484
R3LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimati...
R3LIVE论文解读及框架调参结果
wanyi999的博客
12-14 1326
R3live论文解读
R3live论文翻译
JunJun
06-25 1930
在本文中，我们提出了一个新颖的激光惯性视觉传感器融合框架，也就是R3live；它利用了激光雷达、惯性和视觉传感器的测量值，可以得到鲁棒和高精度的状态估计。R3live包含了两个子系统，激光惯性里程计系统（LIO）和视觉惯性里程计系统（VLO）。LIO子系统（FAST-LIO）利用激光雷达和惯性传感器的测量数据构建全局地图的几何特征。VIO子系统则利用视觉和惯性传感器的测量数据给地图添加纹理（也就是给3D点赋予颜色）...............
R3LIVE++论文阅读
人无远虑，必有近忧
09-09 780
为了确保稳健和快速的收敛,我们设计了一个两步流水线,如图所示,其中在第一步 (即,帧到帧 VIO) 我们利用帧到帧光流来跟踪最后一帧中观察到的地图点,并通过最小化被跟踪点的透视 n 点 (PnP) 重投影误差来获得系统状态的粗略估计。然后,在第二步骤 (即帧到地图 VIO) 中,通过最小化地图点的辐射度与当前图像中它们的投影位置处的像素强度之间的差来进一步细化状态估计。此外，我们还记录该点的其他必要信息，包括点的估计误差的协方差，以及创建和更新该点时的时间戳。曝光时间 r 在我们的工作中是在线估计的。
R3LIVE论文学习（二）：VIO子系统
奉现的博客
07-29 1026
R3LIVE的VIO子系统
激光SLAM论文R3LIVE和LIO-SAM阅读
Turn life into a dream, and then turn dreams into reality
11-28 401
采用方法：为了确保实时的高性能，边缘旧的激光雷达扫描以进行姿态优化，不是将激光雷达扫描匹配到全局地图。VIO使用传感器渲染地图的纹理，即3D点云的颜色；创新点：VIO通过最小化观测地图点的RGB颜色与其在当前图像中测量的颜色之间的光度误差来估计当前状态。VIO子系统受两个主要设置的影响：图像的大小(“图像大小”）和点云图的分辨率(“Pcres”）使用的指标：与地面真实结束姿态相比，我们的算法旋转漂移1.62˝，平移4.57 cm.通过最小化帧到帧的pnp重投影误差和帧到地图的。VIO 每帧耗费的时间。
R3LIVE源码解析(6) — R3LIVE流程详解
几度春风里的博客
08-31 2103
R3LIVE是香港大学Mars实验室提出的一种融合imu、相机、激光的SLAM方法，R3LIVE由两个子系统组成，一个激光惯性里程计（LIO）和一个视觉惯性里程计（VIO）。LIO子系统（FAST-LIO）利用来自激光雷达和惯性传感器的测量数据，并且构建地图的几何结构（即3D点位置）。VIO子系统使用视觉惯性传感器的数据，并且渲染地图的纹理（即3D点颜色）。更具体而言，VIO子系统通过最小化帧到地图的光度误差直接且有效地融合视觉数据。
R3LIVE源码解析(7) — R3LIVE中LiDAR_front_end.cpp文件
几度春风里的博客
09-02 823
激光点云首先在LiDAR_front_end节点中提取特征点，将处理完的信息通过完成节点的发送出去，与FAST-LIO2相同R3LIVE也只用到了面特征作为ESIKF融合。首先主函数会根据不同的雷达类型运行不同的回调函数接着通过give_feature()提取角点和面点提取面点时，通过plane_judge()面点类型的判断提取过程中，会进行边缘点判断，也就是LOAM论文中的进行异常点剔除最后将提取的角点和面点发布出去。
r3live:从r2live进行公式解读
handily_1的博客
04-02 2078
总述 r2live提出的框架由基于滤波方法的里程计模块和基于因子图的优化模块组成。 系统框图： 基于滤波器的里程计利用LiDAR、相机和惯性传感器的测量值，在误差状态迭代卡尔曼滤波器框架内估计状态； 为了进一步改善视觉测量，利用因子图优化来优化局部滑动窗口内的视觉路标点； r2live框架的运动方程由IMU传播建立，观测方程由相机和雷达建立，迭代卡尔曼滤波得到的值其实就是MAP的结果，十四讲介绍过MAP就是最小化噪声的二次型，也就是马氏距离； 噪声包括三项： 运动方程 lidar观测方程 camer观测
R3LIVE(升级R2LIVE)：编译与运行
热门推荐
handily_1的博客
01-01 2万+
之前港科大的hku-mars火星实验室在R2LIVE的基础上提出了“R3Live”，论文和视频很早就发出来了，但是代码一直没有开源（作者一直强调会开源）， 在一众slamer的千呼万唤之下， 在2021年的年尾， 终于,能够在github下载了。......
论文阅读笔记：(2021.09， RA-L) R3LIVE
chaoqinyou的博客
11-30 740
r3live 论文阅读笔记
R3 LIVE：一个强大、实时、RGB彩色、激光雷达-惯性-视觉紧密耦合的状态估计和建图
点云兔子的博客
09-25 4511
我们系统的概述如图2所示，我们提出的框架包含两个子系统：LIO子系统（上部分）和VIO子系统（下部分）。LIO子系统构建了一个全局地图的几何结构，它注册输入的激光雷达扫描，并通过最小化点到平面的残差来估计系统的状态。VIO子系统构建地图的纹理，它使用输入图像为每个点渲染RGB颜色，并通过最小化帧与帧之间的PnP重投影误差和帧与地图的光度误差来更新系统状态。图2：我们提出的系统概述。
经典文献阅读之--R3LIVE
lovely_yoshino的博客
09-04 4175
之前作者在今年年初写了激光与摄像头混合的博客，当时一直想写R3LIVE的。但是一直苦于没有时间好好地去深入钻研探索。这段时间正好有比较充裕的时间做这个事情，所以这里我们对《》这篇文章进行学习与解析。这篇文章中中有很多值得我们借鉴和学习的地方。与LVI-SAM一样，它也是一个激光-惯性-视觉融合的传感器融合框架，利用激光雷达、惯性和视觉传感器的测量来实现鲁棒性和准确性的状态估计。由于R3LIVE是由进一步拓展来的。这里我们放上其他博主翻译的的论文。
R3LIVE:一个鲁棒、实时、RGB贴图的激光雷达惯性视觉紧耦合状态估计和建图方案...
点云PCL
06-06 521
文章：R3LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package作者：Jiarong Lin and Fu Zhang编译：点云PCL代码：https://github.com/hku-mars/r3...
港大重磅SLAM新作！R3LIVE++：一个实时鲁棒的紧耦合激光雷达-惯性-视觉融合框架...
CV_Autobot的博客
10-13 5337
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【SLAM综述】获取视觉SLAM、激光SLAM、RGBD-SLAM等多篇综述！论文链接：https://arxiv.org/pdf/2209.03666.pdf论文代码：https://github.com/hku-mars/r3live摘要本文提出了一种名为 R3LIVE++ 的 LiDAR...
R3LIVE代码注释
一抹烟霞的博客
03-26 1118
详细代码注释： https://gitee.com/qcl5683/R3LIVE-CommentV
R2Live、R3Live和 R3Live++
czlmd的博客
11-17 1327
提出了一个实时的LiDAR-惯性-视觉紧耦合的多传感器融合框架，通过融合LiDAR、惯性测量单元(IMU)和相机传感器的数据，实现高鲁棒性和高精度的状态估计。：继承R2LIVE框架，在LiDAR-惯性里程计（LIO）中增加了视觉里程计（VIO）模块，实现了帧到地图光度误差优化，用以增强纹理渲染。：将LiDAR和VIO紧耦合程度提升，提出基于帧到地图的光度误差最小化算法，并融合在线光度校准，显著增强了地图的表现力。
R3LIVE：A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation 运行记录
m0_46114737的博客
01-28 3079
R3LIVE：A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package
imu 激光雷达融合定位仿真
最新发布
03-15
<think>好的，我现在需要回答用户关于IMU与激光雷达融合定位仿真的问题。首先，我要理解用户的需求。他们想要知道如何实现或找到相关资料，特别是仿真方法。接下来，我需要回顾已有的引用内容，看看是否有相关的信息可以帮助构建答案。 根据提供的引用，特别是引用[1]、[2]、[3]、[4]，这些资料提到了多传感器融合，包括激光雷达、IMU、相机等的标定和融合在SLAM和定位中的应用。例如，引用[2]提到R3live++框架，结合了激光雷达、视觉和IMU的数据，这可能涉及到仿真方法。引用[3]讨论了多传感器的标定融合，这对仿真中的传感器模型很重要。引用[4]则概述了传感器融合的广泛应用，可能涉及仿真技术。 接下来，我需要组织回答的结构。用户需要方法步骤和可能的实现途径。通常，仿真流程包括数据同步、坐标转换、传感器模型、融合算法和仿真环境搭建。每个步骤需要结合引用中的内容。例如，数据同步可以参考引用[3]中的标定方法，坐标系对齐可能涉及引用[1]中的定位原理，传感器模型可能需要引用[2]中的多传感器融合框架。 然后，实现工具部分，需要列出常用的仿真平台，如Gazebo、ROS、MATLAB/Simulink、Carla等。引用[2]提到的R3live++可能基于ROS，所以可以推荐ROS作为工具。同时，LIO-SAM和LVI-SAM是开源的融合算法，适合参考实现。 在参考资料推荐部分，需要结合引用中的内容，比如引用[2]中的R3live++论文，引用[3]中的多传感器标定方法，以及开源项目如LIO-SAM。这些都可以作为用户进一步研究的资料。 最后，生成相关问题需要考虑用户可能感兴趣的后续问题，比如仿真中的关键挑战、实际应用案例、标定方法等。这些问题需要与已有的引用内容相关，例如引用[3]中的标定问题，引用[1]中的定位方式示例。 需要确保回答中的数学公式符合要求，例如状态估计方程可能需要使用$$...$$格式。例如，卡尔曼滤波的公式应独立成段。同时，注意使用中文，保持结构清晰，分步骤说明，并正确添加引用标识。</think>### IMU与激光雷达融合定位仿真实现方法 IMU（惯性测量单元）与激光雷达融合定位的核心是通过多传感器数据互补，提升定位精度和鲁棒性。以下是实现仿真方法的分步说明： --- #### **1. 仿真流程设计** - **数据同步** 激光雷达（LiDAR）与IMU的频率不同（例如LiDAR为10Hz，IMU为100Hz），需通过时间戳对齐或插值实现数据同步[^3]。 - **坐标系对齐** 建立统一的坐标系，例如将IMU的$body$系与LiDAR的$sensor$系通过外参矩阵$T_{imu}^{lidar}$转换。外参标定可通过棋盘格或自动标定工具完成[^3]。 - **传感器模型** - **IMU模型**：仿真角速度$\omega_t$和加速度$a_t$，加入噪声$\eta_\omega$和$\eta_a$： $$ \tilde{\omega}_t = \omega_t + \eta_\omega, \quad \tilde{a}_t = a_t + \eta_a $$ - **LiDAR模型**：生成点云数据$P_t$，模拟测量误差（如距离噪声$\eta_d$和角度噪声$\eta_\theta$）[^1]。 - **融合算法** 常用扩展卡尔曼滤波（EKF）或因子图优化（Factor Graph）融合IMU预积分与LiDAR点云匹配结果[^2]。例如，EKF的状态向量为： $$ x = [p, v, q]^T $$ 其中$p$为位置，$v$为速度，$q$为姿态四元数。 - **仿真环境搭建** 使用Gazebo、CARLA或ROS（机器人操作系统）构建虚拟场景，模拟LiDAR点云和IMU数据流[^2]。 --- #### **2. 实现工具推荐** 1. **Gazebo + ROS** - 在Gazebo中搭建机器人模型，加载LiDAR和IMU插件。 - 通过ROS的`robot_localization`包实现多传感器融合。 2. **MATLAB/Simulink** - 利用`Navigation Toolbox`和`Sensor Fusion and Tracking Toolbox`快速验证算法[^4]。 3. **LIO-SAM/LVI-SAM** - 开源项目LIO-SAM（LiDAR-Inertial Odometry）提供紧耦合的融合实现，可直接用于仿真测试。 --- #### **3. 关键代码示例（基于ROS）** ```python # 创建EKF节点 import rospy from robot_localization import EkfLocalization rospy.init_node(&#39;ekf_fusion_node&#39;) ekf = EkfLocalization() ekf.configure() ekf.start() # 订阅IMU和LiDAR数据 def imu_callback(data): ekf.process_imu(data) def lidar_callback(data): ekf.process_lidar(data) rospy.Subscriber(&#39;/imu&#39;, Imu, imu_callback) rospy.Subscriber(&#39;/lidar&#39;, PointCloud2, lidar_callback) rospy.spin() ``` --- #### **4. 参考资料推荐** 1. **R3LIVE++论文**：详述激光雷达-视觉-IMU紧耦合框架的仿真与实现[^2]。 2. **LIO-SAM开源代码**：GitHub仓库提供完整的仿真与实机部署示例。 3. **《多传感器标定方法》**：包含IMU与LiDAR标定的数学推导与仿真验证。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JaydenQ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值