VINS一步一步来 | 框架图

最新推荐文章于 2025-05-22 14:54:02 发布
最新推荐文章于 2025-05-22 14:54:02 发布
阅读量1.4k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43795395/article/details/90753628
本文深入探讨VINS系统，一种视觉惯性融合的SLAM解决方案，由中国人研发。文章分为数据预处理、初始化、局部非线性联合优化、闭环检测及全局位姿图优化五大部分，详细讲解VINS的学习难点与实践步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

VINS是视觉惯性结合的SLAM系统的典范，该系统也是中国人开发的，接下来很长一段时间小狼会带着你一步一步踏踏实实得走进VINS，走进VIO领域！ 

总的来说，VINS因为涉及IMU与视觉融合，预积分等理论，它的学习坡度要比ORBSLAM陡峭的多！希望看官不要灰心也不要急躁，毕竟人与人的知识水平/经验/资源什么的还是差别很大的……        

 

 

分为五个部分： 

  • 数据预处理
  • 初始化
  • 局部非线性联合优化 
  • 闭环检测
  • 全局位姿图优化  
西部小狼_
关注
（秋招复习）VINS-Mono
weixin_45432823的博客
07-29 1274
秋招复习-VINS篇
从零完成slam实战，以Vins-Fusion为例
u010196944的博客
10-10 8146
ubuntu20.04 + d435i + vins-fusion，从零完成slam实战
（一）VINS系统框架--残差剖析
qq_43526137的博客
09-22 531
组成VINS的残差，待优化变量，以及对应雅可比推导
学习惯性视觉组合导航(VINS)
人生导航家的博客
05-22 887
学习视觉惯性组合导航（VINS）的步骤包括：首先，掌握必要的数学和编程基础，如线性代数、微积分、C++和Python，以及ROS的使用。其次，深入学习惯性导航和视觉导航的基本原理，推荐阅读相关书籍和观看视频课程。接着，理解传感器融合原理，包括卡尔曼滤波和非线性优化方法。最后，通过实践操作，如搭建开发环境、获取数据集和实现简单的VINS系统，来巩固和应用所学知识。这一过程需要不断学习和实践，以逐步掌握VINS的核心技术和应用。
VINS框架
weixin_38117861的博客
01-04 400
VINS_MONO系列：(一)总体框架
weixin_44413400的博客
02-20 1424
2、整体流程 文章的整体pipeline比较清晰，论文中的Fig 1就比较清除的说明了整个实现的过程我这里总结的话主要包括一下几个部分： 1、数据预处理部分 数据预处理部分整体逻辑和实现的功能比较简单，主要是对输入的图像进行特征提取和LK金字塔光流跟踪，生成新的特征点后发布出去，给后续的VIO模块使用。当然在代码中还涉及到一些细节的处理方法，比如说特征点的均匀化、外点的去除等，后续会开设专门的篇章讲解这部分的内容，这里主要是对模块功能有个整体的把握。 2、基于滑动窗口的紧耦合
VINS-Mono程序框架图
qq_32603327的博客
07-25 1697
VINS-Mono程序框架图：
VINS-Mono SLAM源码框架
老白的博客
09-23 817
VINS-Mono SLAM源码框架 以前做IMU，由于需求需要与视觉进行信息融合，故对现在流行的VINS进行学习，在观察过程中，整理了代码大致框架，供大家参考： ...
VINS论文及代码解析.pdf
11-13
初始化是整个VINS系统中非常关键的一步，它涉及到视觉和IMU信息的融合，通常包括相对位姿估计（relativePose）、全局SFM（Structure from Motion）构建、PnP（Perspective-n-Point）问题求解和视觉初始化对齐...
VINS论文推导及代码解析_崔华坤.pdf
07-02
1. VINS总体框架 VINS系统的工作流程可以分为以下几个部分：图像和IMU预处理、初始化、后端滑窗优化以及闭环检测与优化。在代码实现上，VINS启动了四个线程，分别处理前端图像跟踪、后端非线性优化（包含初始化和IMU...
Vins-Mono系列代码和理论解读＜三＞. vins初始化流程和代码实现细节
tmfighting的博客
06-18 1743
快速了解vins-mono的初始化实现流程
VINS SLAM教程（Visual-Inertial Navigation: A Tutorial January 15, 2017）
03-08
VINS教程，希望这份资料对研究VINS的人可以有所帮助！（Visual-Inertial Navigation: A Tutorial January 15, 2017）（2页）
Vins-Funsion--------思维导图(知识总结)
weixin_43391596的博客
04-25 184
Vins-Funsion--------思维导图(知识总结)
VINS代码结构
huanghaihui_123的博客
12-17 825
文章目录1.总体框架 1.总体框架 ar_demo:AR上层应用 benchmark_publisher：发布数据集中参考值 camera_mode：各类相机模型 config：硬件、系统配置文件 support_files feature_trackers ：图像接收和特征点提取与跟踪 pose_graph vins_estimator 在ros运行中，只运行三个节点： feature_tr...
VINS-FUSION源码框架及C++知识点总结
weixin_43827285的博客
12-10 7539
VINS-FUSION源码框架及C++知识点总结VINS-FUSION程序架构前端   VINS-FUSION是港科大空中机器人实验室的开源视觉惯性导航SLAM,在此称为slam,是因为不同于VIO,它具有回环和地图复用功能,是一个完整的基于优化算法的slam系统,有关该算法介绍及其中的数学理论部分见之后的链接,在此不再讲解,而是专注于其代码实现的过程. VINS-FUSION github VI...
VINS基础
最爱方方的博客
10-08 1175
一、引言本文提出的视觉惯性系统结构框图如下所示。第一部分是测量处理前段，负责提取并跟踪每个新图像帧的特征，及帧间IMU数据预积分。第二部分是初始化过程，提供了激活非线性系统的必要初始值，如姿态、速度、重力向量、陀螺仪偏差及3D特征位置。第三部分为非线性图优化，通过联合优化所有的视觉、惯性信息求解滑窗内的状态。另一部分运行另一个线程，负责闭环检测及姿态图优化。请点击此处输入图片描述请点击此处输入图片描
VINS学习04———Omni教程
weixin_44168457的博客
12-05 2373
本文依照港科大开源的代码和论文 文章主要内容：对无人机集群实现协同定位。参与融合的定位因子有4点。
双目视觉VIO系列 ——（二）OpenVINS框架概论
weixin_41800044的博客
10-12 1832
本文主要介绍OpenVINS的整体框架和在数据集、实机测试结果
VINS 流程
jsf921942722的博客
07-11 905
VINS 流程 文章目录VINS 流程流程中的细节特征点相关关键帧相关四自由度优化添加关键帧的条件流程图 流程中的细节 特征点相关 图像特征点提取是通过调用opencv库的goodFeaturesToTrack函数实现 图像间的特征点匹配是通过opencv库的calcOpticalFlowPyrLK函数实现，光流法实现匹配 匹配点的一致性检测是通过opencv库的cv::findFundamen...
vins的框架
最新发布
07-20
<think>我们正在讨论VINS框架的组成和原理。根据引用[1]，VINS-Mono的系统框架由四个主要模块构成：观测预处理模块（Measurement Preprocessing）、初始化模块（Initialization）、局部视觉-惯性里程计融合模块（Local Visual-inertial Odometry with Relocalization）和全局优化模块（Global Pose Graph Optimization and Reuse）。同时，引用[2][3][4]提供了更多细节。 下面我将详细解释VINS框架的结构和工作原理： ### 一、VINS框架的组成（系统架构） 根据引用[1]，VINS-Mono的系统框架包含以下四个模块： 1. **观测预处理模块（Measurement Preprocessing）** - **功能**：处理原始传感器数据，包括图像和IMU数据。 - **图像处理**：使用OpenCV进行特征提取（如Harris角点或Shi-Tomasi角点）和光流跟踪（如金字塔LK光流）[^4]。 - **IMU处理**：进行预积分计算，将高频IMU数据积分成帧间运动约束[^4]。 2. **初始化模块（Initialization）** - **挑战**：单目VINS需要加速度激励来估计尺度，且系统高度非线性（引用[2]）。 - **步骤**： - 纯视觉SFM初始化：构建初始地图和相机位姿。 - IMU参数标定：估计陀螺仪零偏、尺度因子和重力方向[^4]。 - 视觉-惯性对齐：将视觉结构与IMU轨迹对齐，恢复尺度、速度和重力向量[^4]。 3. **局部视觉-惯性里程计融合模块（Local VIO）** - **核心**：紧耦合的优化框架，融合视觉观测和IMU预积分约束。 - **优化变量**：滑动窗口内的相机位姿、速度、IMU零偏和特征点深度[^4]。 - **残差项**： - **视觉重投影残差**：特征点在相邻帧间的投影误差。 - **IMU预积分残差**：相邻关键帧之间的IMU运动预测误差。 - **边缘化**：移除旧状态时保留约束信息，避免信息丢失[^4]。 4. **全局优化模块（Global Optimization）** - **回环检测**：通过词袋模型（BoW）识别已访问场景[^4]。 - **重定位**：利用回环匹配结果修正漂移。 - **位姿图优化**：将回环约束加入全局位姿图中进行优化[^1]。 ### 二、VINS框架的工作原理 #### 1. 数据预处理流程 ```mermaid graph LR A[图像数据] --> B[特征提取与跟踪] C[IMU数据] --> D[预积分计算] B --> E[特征点去畸变/均匀化] D --> F[IMU误差传递] ``` #### 2. 初始化过程（引用[2][4]） - **纯视觉初始化**：通过5点法或8点法计算基础矩阵，三角化特征点构建初始地图。 - **视觉-惯性对齐**： - **步骤1**：通过IMU预积分获取相邻帧间的相对旋转。 - **步骤2**：求解尺度$s$和重力向量$\mathbf{g}$的优化问题： $$ \min_{s, \mathbf{g}} \sum \| \mathbf{v}_{visual}^k - (s \cdot \mathbf{v}_{imu}^k + \mathbf{g} \Delta t_k) \|^2 $$ - **步骤3**：细化重力方向（将重力向量投影到地球坐标系）[^4]。 #### 3. 紧耦合VIO优化（核心） - **滑动窗口优化模型**（引用[3][4]）： $$ \min_{\mathcal{X}} \left( \sum_{k} \| \mathbf{r}_{imu}(\mathcal{X}) \|_{\Sigma_{imu}}^2 + \sum_{l} \| \mathbf{r}_{visual}(\mathcal{X}) \|_{\Sigma_{visual}}^2 \right) $$ 其中： - $\mathcal{X}$：状态变量（位姿、速度、零偏等） - $\mathbf{r}_{imu}$：IMU预积分残差 - $\mathbf{r}_{visual}$：视觉重投影残差 - **IMU残差公式**（连续时间）： $$ \mathbf{r}_{imu} = \begin{bmatrix} \delta \boldsymbol{\theta} \\ \delta \mathbf{v} \\ \delta \mathbf{p} \end{bmatrix} = \begin{bmatrix} \log(\mathbf{R}_{imu}^{-1} \mathbf{R}_{visual}) \\ \mathbf{v}_{imu} - \mathbf{v}_{visual} \\ \mathbf{p}_{imu} - \mathbf{p}_{visual} \end{bmatrix} $$ #### 4. 回环检测与全局优化 - **词袋模型**：将图像特征转换为向量，通过相似度检测回环。 - **紧耦合重定位**：将回环匹配的特征点作为额外约束加入优化问题[^4]。 ### 三、关键技术创新点 1. **IMU预积分技术**（引用[4]） - 避免重复积分，将IMU数据转换为相对运动约束。 - 误差传递模型考虑零偏变化。 2. **自适应特征均匀化** - 通过网格划分保持特征点均匀分布，提高跟踪鲁棒性。 3. **滑动窗口边缘化** - 使用Schur补移除旧状态，保留先验信息。 ### 四、性能特点 - **精度**：紧耦合方案融合精度高于松耦合（引用[1][3]）。 - **鲁棒性**：IMU约束使系统在纹理缺失或快速运动时仍能工作。 - **实时性**：在i7处理器上可达30fps。 ### 五、典型应用场景 | 场景 | 适用模块 | |--------------------|-------------------| | 无人机自主导航 | 完整VINS框架 | | AR/VR定位 | 局部VIO | | 移动机器人建图 | 全局优化+回环 | ```cpp // 简化的VIO优化伪代码（Ceres Solver） ceres::Problem problem; for (auto &imu_residual : imu_residuals) { problem.AddResidualBlock(imu_residual, NULL, poses, speeds, biases); } for (auto &vision_residual : vision_residuals) { problem.AddResidualBlock(vision_residual, new CauchyLoss(0.5), poses, features); } ceres::Solve(options, &problem, &summary); // 调用Ceres求解 ``` > 图例：红色为IMU轨迹，蓝色为视觉轨迹，绿色为融合后轨迹[^1] --- §§相关问题§§ 1. VINS中的IMU预积分如何避免零偏变化带来的误差？ 2. 为什么VINS初始化需要足够的加速度激励？ 3. 滑动窗口边缘化在VINS中如何实现？ 4. 如何评估VINS系统在不同场景下的定位精度？ 5. VINS-Mono与VINS-Fusion在架构上有哪些关键区别？</think>### VINS框架的结构与工作原理详解 #### 一、系统框架组成（基于VINS-Mono） 根据引用[1][2][4]，VINS-Mono的核心架构包含四个关键模块： 1. **观测预处理模块（Measurement Preprocessing）** - **图像处理**：使用OpenCV进行特征提取（Harris/Shi-Tomasi角点）和光流跟踪（金字塔LK算法） - **IMU处理**：对高频IMU数据进行预积分计算，生成帧间运动约束 - **关键技术**： - 特征点去畸变与均匀化处理 - 外点剔除机制（剔除误匹配特征） - 双向光流检查确保跟踪可靠性[^4] 2. **初始化模块（Initialization）** - **核心挑战**：解决单目视觉的尺度不确定性和IMU-相机外参标定[^2] - **三阶段流程**： 1. **纯视觉初始化**：通过SFM构建初始地图 2. **IMU参数标定**：估计陀螺仪零偏和尺度因子 3. **视觉-惯性对齐**：求解尺度$s$、重力向量$\mathbf{g}$和速度$\mathbf{v}$的优化问题： $$ \min_{s,\mathbf{g},\mathbf{v}} \sum \| \mathbf{p}_{visual} - (s \cdot \mathbf{p}_{imu} + \mathbf{v}t + \frac{1}{2}\mathbf{g}t^2) \|^2 $$ 3. **局部VIO融合模块（Local Visual-inertial Odometry）** - **紧耦合优化**：在滑动窗口内联合优化以下变量[^1][^3]： - 相机位姿 $\mathbf{T} \in SE(3)$ - 速度 $\mathbf{v}$ - IMU零偏 $\mathbf{b}$ - 特征点逆深度 $\rho$ - **残差项构成**： - **视觉重投影残差**：$$\mathbf{r}_{vis} = \pi(\mathbf{T} \cdot \mathbf{X}) - \mathbf{z}_{pixel}$$ - **IMU预积分残差**：$$\mathbf{r}_{imu} = \log(\Delta \mathbf{R}_{meas}^{-1} \Delta \mathbf{R}_{pred})$$ 4. **全局优化模块（Global Pose Graph Optimization）** - **回环检测**：采用词袋模型（BoW）进行场景识别[^4] - **紧耦合重定位**：将回环约束转化为优化问题中的附加残差项 - **位姿图优化**：使用Ceres Solver优化全局位姿一致性 ```mermaid graph LR A[传感器数据] --> B[观测预处理] B --> C[初始化模块] C --> D[局部VIO融合] D --> E[全局优化] E --> F[地图&位姿输出] ``` #### 二、核心工作原理 1. **紧耦合优化框架** - 建立包含所有状态变量的统一代价函数[^1][^3]： $$ \min_{\mathcal{X}} \left( \sum \|\mathbf{r}_{imu}\|_{\Sigma_{imu}}^2 + \sum \|\mathbf{r}_{vis}\|_{\Sigma_{vis}}^2 + \|\mathbf{r}_{prior}\|^2 \right) $$ 其中$\mathcal{X} = \{\mathbf{T}, \mathbf{v}, \mathbf{b}, \rho\}$为优化变量集 2. **IMU预积分技术（关键创新）** - 避免重复积分：将IMU数据转换为相对运动增量 - 误差状态传递：建立预积分量的协方差传播模型 - 零偏雅可比计算：处理IMU零偏随时间变化的问题[^4] 3. **滑动窗口管理** - 窗口大小：通常保持10-15个关键帧 - 边缘化策略：移除旧帧时保留其约束信息作为先验 - 关键技术：使用Schur补实现高效边缘化 4. **鲁棒性增强机制** - 自适应特征跟踪：根据运动速度调整光流金字塔层数 - 外点剔除：基于RANSAC的几何一致性检验 - 故障恢复：重定位模块应对跟踪丢失场景 #### 三、技术特点总结 | 特性 | 说明 | |---------------------|----------------------------------------------------------------------| | **紧耦合** | 视觉和IMU在优化层直接融合，精度高于松耦合[^1] | | **非线性优化** | 使用Ceres Solver解决高维非线性最小二乘问题 | | **跨平台性** | 支持Linux/ROS/Android等多平台部署 | | **实时性** | 在i7处理器上可达30fps处理速度 | | **多传感器支持** | VINS-Fusion扩展支持双目/GPS融合[^1] | #### 四、典型工作流程示例 ```cpp // 简化版VINS-Mono处理流程 while (new_data_arrived()) { // 1. 预处理 preprocess_image(feature_tracking); // OpenCV光流跟踪 imu_preintegration(gyro, acc); // IMU预积分 // 2. 初始化（仅首帧执行） if (!initialized) { visual_initialization(); visual_inertial_alignment(); } // 3. 局部VIO优化 ceres::Problem problem; add_imu_residuals(problem); // 添加IMU约束 add_vision_residuals(problem); // 添加视觉约束 ceres::Solve(problem); // 求解优化 // 4. 全局优化（触发回环时） if (loop_detected()) { relocalization(); pose_graph_optimization(); } } ``` > **可视化效果**：红色轨迹表示IMU原始数据，绿色为VINS优化后的轨迹[^2] #### 五、适用场景对比 | 场景 | 适用模块 | 说明 | |---------------------|------------------------|--------------------------| | 无人机室内导航 | 局部VIO+全局优化 | 依赖视觉/IMU，无需GPS | | 移动AR定位 | 局部VIO | 低延迟，高频率位姿输出 | | 大规模场景建图 | 全局优化+回环检测 | 消除长期漂移 | | 传感器标定 | 初始化模块 | 在线估计IMU-相机外参 | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值