r3live---学习

整个系统分为两个子系统，LIO系统和VIO系统如下

LIO用于重建全局地图的几何结构，VIO用于渲染地图的纹理色彩。
关于数学符号–
errorstate iterated Kalman filterESIKF 误差状态迭代卡尔曼滤波器
**罗德里格斯变换–Rodrigues’ transformation？**用于旋转矩阵和旋转向量–

状态向量

文章所说的全状态是什么意思呢？就是什么状态都包含。相比于fast-lio系列，状态向量又多了相机到imu系的外参，相机时间与IMU时间间隔，以及相机的内参。

1、IMU在全局系下的姿态和位置，速度，陀螺仪偏差、加速度计偏差、重力。
2、相机到IMU的姿态和位置（外参）
3、相机到IMU的时间偏移量（激光雷达已和IMU同步了）
4、最后一个是相机的内参向量 （焦距，偏移）

地图表示

体素是地图的最小单元，0.1m0.1m0.1m
体素的激活状态（某个时间内有点加入）
跟点有关的信息有三种：1、点的格式（全局三维坐标，RGB）；2、坐标和rgb的协方差（估计误差）；3、点创建和渲染时的时间戳

激光雷达惯性里程计

通过IMU的反向传播补偿连续运动中激光雷达的运动畸变。
通过ESIKF最小化点到平面的残差，估计系统状态。
之后将点加入全局地图并未VIO系统提供深度。
进一步阅读fast-lio，fast-lio2,r2live

视觉惯性里程计

我们的VIO子系统渲染全局地图的纹理，通过最小化光度误差来估计系统状态。
最小化光度误差估计状态–将全局地图中一定数量的点投影到图像中，ESIKF迭代估计这些点的光度误差（单帧图像RGB）。
构建图像金字塔（不是旋转不变的–也是需要被估计的）-稀疏化点云以提高效率。–这个咋估计

科普小课堂—“图像金字塔通常不具有旋转平移不变性。这是因为在构建图像金字塔时，通常会对原始图像进行不同尺度的缩放，而这个过程通常是基于固定的平移和旋转操作进行的。因此，当旋转或平移图像时，不同尺度的金字塔图像可能会相互错位，从而导致图像特征的丢失或变形。为了解决这个问题，通常需要对金字塔图像进行一些特殊的处理，比如在金字塔的不同层级中使用旋转和平移不变的特征描述符等。”

帧到帧（光流法最小化PNP的投影误差），帧到图（光度误差）—二步流程确保稳定和快速。
有了收敛的状态和原始图像，就可以实现纹理渲染更新地图中点的颜色

帧到帧的VIO

光流法确定跟踪点