【vio综述一】

1. 视觉与IMU之间融合的优势
2. 常见的视觉与IMU融合的例子，以及落地相关的工业界应用例子
3. 进行文献调研，了解学术界VIO的进展，以及机器学习在VIO中的应用
4. 编程实现四元素和李代数的更新
5. 求导

一、视觉与IMU之间融合的优势

方案	IMU	视觉
优势	快速响应； 不受成像质量影响； 角速度普遍比较准确； 可估计绝对尺度	不产生漂移； 直接测量旋转与平移
劣势	存在零偏； 低精度 IMU 积分位姿发散； 高精度价格昂贵	受图像遮挡、运动物体干扰; 单目视觉无法测量尺度; 单目纯旋转运动无法估计; 快速运动时易丢失

1. IMU可以测得物体角速度和加速度，但是长时间的运动存在不可忽略的漂移，两次积分求得的位移出现误差不断积累，并不断传播。相机在快速运动以及短时间内的效果很差。跟相机的频率有关。
2. 相机的数据不会出现漂移，可以修正IMU的漂移。
3. 针对动态物体，IMU感知自身运动，不会出现相对运动的情况。

总之，IMU喜欢快，短时间的运动，但是有误差，相机误差小，喜欢长时间的运动物体，但是害怕运动较快的物体。

同时，可利用视觉定位信息来估计 IMU 的零偏，减少 IMU 由零偏导致的发散和累积误差；反之， IMU 可以为视觉提供快速运动时的定位

视觉与IMU融合之后会弥补各自的劣势，可利用视觉定位信息来减少IMU由零偏导致的发散和累积误差；

IMU可以为视觉提供快速运动时的定位，减少因为外界影响定位失败，同时有效解决单目尺度不可观测的问题。

二、常见的视觉与IMU融合的例子，以及落地相关的工业界应用例子

VINS (单目+IMU、双目+IMU)，优化的方法
OKVIS (单目+IMU、双目+IMU)
ROVIO (单目+IMU）滤波
MSCKF 滤波的方案
RKSLAM (单目+IMU）
ORB_SLAM 系列（单目+IMU）
AR/VR，自动驾驶，无人机，手机、无人机拍照防抖

可以参考ORB—SLAM3的表1格中的数据
常见大厂均有使用案例

三、进行文献调研，了解学术界VIO的进展，以及机器学习在VIO中的应用

https://zhuanlan.zhihu.com/p/139150194?utm_source=wechat_session&utm_medium=social&utm_oi=697411568186429440

四、编程实现四元素和李代数的更新

单位四元数或者旋转矩阵可以存储旋转变量，计算对应的w对某一个旋转更新时，有两种方法进行更新： $$\begin{gathered} R\leftarrow Rexp(w^{\wedge }) \\ q\leftarrow q\otimes [1,\frac{1}{2}w{]}^T \end{gathered}$$

对于小量w,如下所示 更新，比较两种量的更新之后的差别，可得出结论，不论哪一种的更新方式，效果等同，不加区分 $$w=[0.01,\mathrm{0.02.0.03}{]}^T$$

作业如下：

介绍罗德里戈公式：

一个向量经过旋转矩阵旋转之后得到一个新的向量。

已知，k是旋转轴的单位向量，v 是任意向量， 角度theata是旋转角度，表示如下：
$$v_{rot}=vcos\theta +(1-cos\theta )(vk)k+sin(\theta )\times k$$