ORB-slam3 BA优化(Bundle Adjustment)学习笔记二

于 2024-05-17 10:18:12 发布
阅读量614 收藏 4
点赞数 5
分类专栏： slam ORB-SLAM3 文章标签： 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_54888848/article/details/138998058
版权

  1. BundleAdjustment: 执行捆绑调整（Bundle Adjustment），优化关键帧（KeyFrame）和地图点（MapPoint）的位姿和位置，以最小化重投影误差，从而提高系统的精度和一致性。

  2. GlobalBundleAdjustment: 类似于BundleAdjustment，但对整个地图进行全局优化，而不仅仅是局部地图。

  3. FullInertialBA: 执行惯性SLAM中的完全捆绑调整，优化相机位姿、地图点位置以及惯性传感器的偏置等参数，用于提高惯性SLAM系统的精度。

  4. LocalBundleAdjustment: 对局部地图进行捆绑调整，优化局部关键帧和地图点的位姿和位置，用于实时性能的改善。

  5. PoseOptimization: 优化帧的位姿，用于提高帧的定位精度。

  6. PoseInertialOptimizationLastKeyFrame: 对最近一个关键帧进行惯性位姿优化，用于惯性SLAM系统中的定位和地图构建。

  7. PoseInertialOptimizationLastFrame: 对最近一个帧进行惯性位姿优化，用于惯性SLAM系统中的定位和地图构建。

  8. OptimizeEssentialGraph: 优化本质图，用于闭环检测和修正，同时优化相机位姿和地图点位置。

  9. OptimizeSim3

最低0.47元/天 解锁文章
(01)ORB-SLAM2源码无死角解析-(66) BA优化(g2o)→闭环线程:Optimizer::GlobalBundleAdjustemnt→全局优化
江南才尽江南山，年少无知年少狂！
10-20 1610
通过上一篇博客对闭环线程中的Optimizer::OptimizeEssentialGraph→本质图优化进行了详细讲解。今天主要讲解ORB-SLAM2中的最后一个BA优化(g2o)，即函数Optimizer::GlobalBundleAdjustemnt→全局优化。该函数在两个地方有被调用：①src/Tracking.cc 文件中的Tracking::CreateInitialMapMonocular() 函数；
ORB-slam3 BA优化(Bundle Adjustment)学习笔记一
m0_54888848的博客
05-17 565
在ORB-SLAM3中，捆绑调整通常是由局部地图更新模块（Local Mapping）和闭环检测模块（Loop Closing）触发和执行的。你可以在这个文件中找到优化器的初始化、构建优化问题、添加边（约束）、设置优化参数等功能的实现。：这两个文件中定义了关键帧和地图点类，通常在捆绑调整中，这些类的状态（例如相机位姿、地图点位置等）会被作为优化变量。：这个文件定义了地图类，通常捆绑调整涉及到的地图结构和约束信息都会在这个类中进行管理。：优化器类的头文件，定义了优化器类的接口和成员函数。
ORB_SLAM2代码阅读(5)——Bundle Adjustment
Mr.Andy的博客
06-12 2459
https://blog.youkuaiyun.com/lingyunxianhe/article/details/79963131
【SLAM学习笔记】8-ORB_SLAM3关键源码分析⑥ Optimizer（三）全局优化
qq_47891062的博客
11-14 1221
2021SC@SDUSC
ORB_SLAM3_优化方法 InertialBA
火柴的初心的博客
02-19 966
关键帧创建的帧率降低，将有更多的时间进行LocalInertialBA优化，所以窗口大小扩大为。的主要作用是联合视觉和IMU信息优化当前关键帧的局部地图，主要用在。当Tracking线程跟踪的地图点超过。进行联合优化，主要作用在。
【SLAM学习笔记】7-ORB_SLAM3关键源码分析⑤ Optimizer（二）局部地图优化
qq_47891062的博客
11-07 1024
2021SC@SDUSC
ORBSLAM3的g2o优化之局部BA（LocalBundleAdjustment）
Walking_roll的博客
08-25 2931
LocalBundleAdjustment()：用于LocalMapping线程中剔除关键帧之前的局部地图优化。局部BA的共视图（其中帧都是关键帧）。用数据结构的术语这个图表示的数据结构称为无向加权图，又叫网，权重就是共视地图点的个数。 /* pKF：当前关键帧 pbStopFlag：优化停止标志位 vpNonEnoughOptKFs：没有足够观测的那些关键帧（这里显然是入参） */ void Optimizer::LocalBundleAdjustment(KeyFrame *pKF, bo
《ORB-SLAM2源码解析》学习手册v1.0-对外.pdf.pdf
03-08
3. 学习 Bundle Adjustment 和 Pose Optimization 算法的优化技巧； 4. 探索 ORB 特征检测器的设计思想和实现细节； 5. 了解 SLAM 系统中的 Map Management 和 Loop Closure Detection 机制。 SlAM 技术的应用场景...
orb-slam3的优化函数
MSysの优快云
04-01 1469
列举总结
ORB_SLAM3源码（附带详细注释）
11-16
在ORB_SLAM3的源代码中，你可以看到这些模块的实现细节，包括特征提取、匹配、卡尔曼滤波器的使用（用于平滑姿态估计）、BA（Bundle Adjustment，束调整）优化等技术。注释详细解释了每部分代码的功能，这有助于学习...
ORB-SLAM3 v0.4-beta
04-20
在源代码中，你可以找到关键算法的实现，如ORB特征提取、特征匹配、卡尔曼滤波器（Kalman Filter）或无迹卡尔曼滤波器（Unscented Kalman Filter）用于融合视觉和惯性数据，以及BA（Bundle Adjustment）优化来提高...
手推 Bundle Adjustment（2）--根据两幅图像进行位姿优化的C++实现
二毛的博客
12-19 4769
需要使用的第三方库： opencv Eigen3 Sophus 解决问题：根据两幅RGB图像和对应的深度图像，通过特征点匹配+PnP估计变化的位姿，然后在通过Bundle Adjustment来优化位姿。 ...
ORB-SLAM2源码逐行解析系列（二十四）：ORB-SLAM2中的全局优化
LDST_优快云的博客
10-24 330
​ 全局优化函数BundleAdjustment主要用于优化所有关键帧的位姿和地图点。因此，其顶点是待优化的所有关键帧的位姿和所有地图点。​ 由于地图点和观测到它的关键帧存在投影约束关系，因此全局优化中的边是二元边。边的两个顶点分别是地图点坐标以及观测到它的关键帧的位姿。​ 对于单目相机模式，边的类型为g2o::EdgeSE3ProjectXYZ。g2o::VertexSE3Expmap，顶点中地图点的类型为g2o::VertexSBAPointXYZ。（2）全局优化与局部优化的区别。
SLAM后端：BA优化（Bundle Adjustment）
热门推荐
LittleEmperor的博客
04-02 1万+
BA是一种优化方法，最小化重投影误差优化PnP得到的R、t 应用场景：利用共视点的3D坐标与相机内参矩阵，根据PnP计算位姿R、t（有误差）。利用R、t及相机的投影模型可以计算出这些特征点在第二帧图像上的投影（有误差），本身这些点在第二帧图像上有真实投影，利用这两个投影构建函数进行优化可以优化位姿。 1 BA解决的代价函数 观测模型如下： （1）世界坐标系转相机坐标系 设P点的世界坐标，...
Bundle Adjustment等优化方法在视觉slam中的应用与求解
sky的博客
07-07 3859
在视觉slam与sfm中，BA是很常见的参数优化方法。它的全名是 Bundle Adjustment，中文翻译有捆集调整、光束法平差等。 BA的主要思想是最小化重投影误差，以其作为目标函数来优化位姿、地图点、相机参数等。 计算投影点 根据以前的两篇博客相机成像模型与相机畸变与标定，我们可以知道将一个地图点投影到像素平面上流程如下： 首先，世界坐标系下有一个固定的点P，世界坐标是 获得点P的相机坐标系坐标，可以利用相机外参R与t得到 在2中获得的仍然是三维的 (X,...
捆绑调整BA
weixin_43384504的博客
02-26 4765
问题阐述：可以同时对三维点和相机姿态进行非线性优化。 场景是：给定空间三维点的坐标，和相机的一些，参数，这些参数都是初始值，还有一些观察点。通过重投影误差来优化，相机的参数加三维点坐标。 什么叫做无约束？非线性在哪？ 最优解就是局部最优解，怎么求解？ 将Hessian矩阵替换成了，雅各比矩阵的形式。 在下面就是增量规方程的求解了。 ...
SLAM_局部束调整(local Bundle Adjustment, BA)步骤与代码示例
惊鸿一博
04-05 2893
1. LocalBA步骤 1将当前关键帧及其共视关键帧加入lLocalKeyFrames 2遍历lLocalKeyFrames中(一级)关键帧，将它们观测的MapPoints加入到lLocalMapPoints 3得到能被局部MapPoints（被）观测到，但不属于局部关键帧的(二级)关键帧，这些关键帧在局部BA优化时不优化 4构造g2o优化器，按照步骤来就行了 5添加待优化的位姿顶点：PoseofLocalKeyFrame 6添加不优化的位姿顶点：PoseofFix...
Slam中的bundle adjustment 与摄影测量中的光束法平差
大橙子的博客
07-18 2699
Bundle adjustment 有很多书将其翻译成是捆绑调整，其实不然，其就是摄影测量中的光束法平差，即是整体求解相机的位姿和加密点坐标。 但是由于计算机视觉中是物方坐标系到图像的像素坐标系，而摄影测量是物方坐标系到图像的像平面坐标系，出于这个原因，两者在公式符号上有些差异。 本博客以SLAM 中相机方程关于相机位姿的导数矩阵（2*6的雅克比）和摄影测量后方交会时候的误差方程系数矩阵（也是...
Bundle Adjustment （BA）简述
scott198512的博客
11-02 3567
机器视觉中的Bundle Adjustment 原理简述
ORB-SLAM2学习笔记
最新发布
03-12
<think>嗯，用户让我介绍一下ORB-SLAM2的学习笔记。我需要先回忆一下ORB-SLAM2的基本框架和核心部分。ORB-SLAM2是一个比较经典的视觉SLAM系统，分为几个主要模块：特征提取、跟踪、局部建图、回环检测和地图管理。首先，我应该从系统架构开始介绍，说明各个模块的作用和相互关系。 接下来，用户可能需要了解ORB特征的相关内容。ORB特征结合了FAST关键点检测和BRIEF描述子，具有旋转不变性和一定的尺度不变性。这部分需要详细解释ORB特征的提取过程，包括如何构建图像金字塔，计算方向，生成描述子等步骤。 然后是跟踪线程，也就是Tracking部分。这里需要说明如何通过帧间匹配、运动模型或重定位来估计相机位姿。可能需要提到初始化的过程，比如使用单应矩阵或基础矩阵来恢复运动，以及如何三角化初始地图点。 局部建图模块负责处理新的关键帧，剔除冗余点，进行局部BA优化。这部分需要解释BA（Bundle Adjustment）的概念，以及如何优化相机位姿和地图点。同时，还要提到关键帧的选择策略，比如根据共视点数量或时间间隔来决定是否插入新的关键帧。 回环检测和地图融合部分也是重点。这里需要讲DBoW2的词袋模型，如何通过视觉词典检测回环，然后进行Sim3优化来校正漂移。此外，还要说明全局BA优化在回环校正后的作用，以及如何优化整个地图的一致性。 ORB-SLAM2支持单目、双目和RGB-D相机，需要比较不同传感器下的系统表现。比如单目初始化困难，存在尺度不确定性，而双目和RGB-D可以直接获取深度信息，初始化更简单。 在优缺点分析方面，优点包括实时性高、支持多传感器、具备回环检测和重定位能力。缺点可能有对动态环境敏感，单目模式下尺度问题，以及特征提取在纹理缺失区域效果差。可以提到后续的ORB-SLAM3在IMU融合和多地图系统上的改进。 最后，学习建议部分应该推荐一些资源，比如论文、代码库、书籍和课程。同时建议从基础开始，动手实践，并参与社区讨论。 需要注意的是，用户可能希望了解实际应用中的问题，比如如何调整参数，处理特定场景的挑战，或者如何扩展ORB-SLAM2的功能。不过根据用户的问题，主要是介绍学习笔记，所以需要结构清晰，分点说明，确保覆盖主要模块和关键点。 可能还需要检查LaTeX格式是否正确，比如公式是否用$或$$包裹，变量是否正确。例如，提到BA优化时，可以写目标函数是$$\min \sum \| \pi(X, T) - x \|^2$$，其中$T$是位姿，$X$是地图点。确保这些公式的格式正确。 总之，我需要按照系统架构、特征提取、跟踪、局部建图、回环检测、多传感器支持、优缺点、学习建议的结构来组织内容，使用清晰的中文，正确插入公式，并确保技术细节准确。</think>以下为ORB-SLAM2学习笔记的整理，按模块分阶段说明： --- ### 一、系统架构 $$ \text{ORB-SLAM2} = \text{Tracking} + \text{Local Mapping} + \text{Loop Closing} + \text{Map} $$ 三大线程并行运行： 1. **Tracking线程**：实时估计相机位姿（$T_{cw} \in SE(3)$） 2. **Local Mapping线程**：局部BA优化与地图点维护 3. **Loop Closing线程**：回环检测与全局优化 --- ### 二、ORB特征提取 - **FAST关键点检测**：阈值化像素差异（$|I_p - I_{center}| > \delta$） - **BRIEF描述子**：二进制编码（256-bit，汉明距离匹配） - **改进特性**： - 图像金字塔实现尺度不变性（$n$层缩放，比例因子$s=1.2$） - 灰度质心法计算方向（$m_{10}=\sum xI(x,y), m_{01}=\sum yI(x,y)$） --- ### 三、跟踪线程（Tracking） 1. **初始位姿估计**： - 通过上一帧运动模型预测：$T_{k} = T_{k-1} \cdot T_{k-1}^{k}$ - 或通过特征匹配与PnP求解：$\min_T \sum \| \pi(T \cdot X_i) - x_i \|^2$ 2. **关键帧判定**： - 跟踪质量下降（匹配点 < 阈值） - 距离上一关键帧超过20帧 --- ### 四、局部建图（Local Mapping） 1. **局部BA优化**： $$ \min_{T_i, X_j} \sum \| \pi(T_i \cdot X_j) - x_{ij} \|^2 + \rho(\| T_i^{-1}T_j \|) $$ - 仅优化当前关键帧及其共视关键帧 2. **地图点剔除**： - 观测次数 < 2次 - 重投影误差 > $\chi^2$阈值（$\chi^2_{0.95}=5.991$） --- ### 五、回环检测（Loop Closing） 1. **词袋模型（DBoW2）**： - 离线训练视觉词典（k-means树结构） - 计算相似性得分：$s = \frac{\langle v_q, v_t \rangle}{\|v_q\| \|v_t\|}$ 2. **Sim3优化**： $$ \min_{S} \sum \| \pi(S \cdot X_i) - x_i \|^2 + \| \pi(S^{-1} \cdot X_j&#39;) - x_j&#39; \|^2 $$ - 解决尺度漂移问题（$S \in Sim(3)$） --- ### 六、多传感器支持 | 传感器类型 | 初始化方式 | 深度获取方法 | |------------|---------------------|-----------------------| | 单目 | 分解H/F矩阵 | 三角化（需运动） | | 双目/RGB-D | 直接构造深度图 | 视差/深度传感器 | --- ### 七、优缺点分析 - **优点**： - 实时性（30fps，GTX 1070） - 支持重定位与动态场景处理 - **缺点**： - 依赖特征匹配（纹理缺失易失效） - 单目模式需10秒以上初始化 --- ### 八、学习建议 1. **必读文献**： - 原论文《ORB-SLAM2: An Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras》 - 《Multiple View Geometry in Computer Vision》 2. **代码实践**： ```bash git clone https://github.com/raulmur/ORB_SLAM2 cd ORB_SLAM2 && chmod +x build.sh && ./build.sh ``` 3. **调试工具**： - 使用g2o_viewer可视化优化结果 - 分析`KeyFrame::EraseMapPointMatch()`等关键函数 --- 以上内容需结合代码阅读（推荐使用CLion或VSCode调试），重点关注`Tracking.cc`和`Optimizer.cc`模块。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cornfield Child

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值