ORB-SLAM3 tracking跟踪线程具体流程分析

本文详细解读ORB-SLAM3中跟踪线程的运作,涉及关键帧跟踪、运动模型跟踪和重定位,以及如何结合局部地图进行优化。核心流程包括特征提取、匹配、位姿优化和关键帧插入策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

ORB-SLAM3 中tracking线程是主线程,也是最为重要的部分,以双目为例,下面是本人对该线程的理解

基本流程

**track()流程如下:
从main()主函数进入 -> 读取图片(左右图,时间戳) -> 创建系统对象System SLAM
-> 主循环 -> 双目跟踪System::TrackStereo() -> 处理双目数据Tracking::GrabImageStereo()
-> 创建frame, track ->开始跟踪 -> 返回mCurrentFrame.mTcw
**

初始化

Frame():帧的初始化

创建帧
计算图像金字塔参数
提取特征点(左右目双线程同时提取)
特征点矫正
特征点匹配,计算深度
特征点网格化

双目初始化:

对第一个特征点数量>500 的帧(Frame)进行初始化。
将其设置为世界坐标系
以该帧为源帧生成关键帧(KeyFrame),并将该关键帧添加到地图(Map)
由该帧中所有具有深度的特征生成地图点(MapPoint),关联地图点、关键帧和当前帧
将关键帧添加到局部地图(LocalMapping)

流程图

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

三个跟踪模型

一:关键帧跟踪TrackReferenceKeyFrame():

1.计算当前帧的词袋
2.通过BoW匹配当前帧F和当前帧的参考关键帧pKF共有的地图点 SearchByBow()
3.以Tracking类成员变量mLastFrame的位姿作为当前帧位姿的初始值
4.g2o优化位姿(3d-2d) Optimizer::PoseOptimization(&mCurrentFrame)
5.剔除外点
6.判断是否跟踪成功(匹配内点数大于10个)

二:运动模型跟踪TrackWithMotionModel():

假定前后帧匀速运动,对上一帧的MapPoints进行跟踪,用上一帧位姿和速度估计当前帧位姿。
1.UpdateLastFrame() : 非单目定位模式调用,添加几个临时MP,加强跟踪效果
2.使用运动模型估计当前帧位姿(mVelocity*mLastFrame.mTcw)
3.将上一帧的地图点投影至当前帧,并与关键点匹配SearchByProjection(), 如果跟踪点少,扩大搜索半径再次匹配
4.根据匹配点对进行当前帧位姿优化PoseOptimization()
5.抛弃外点。
6.判断跟踪状态。Tracking处于定位模式,如果当前帧的地图点多于20个,则跟踪成功。Tracking处于跟踪且建图模式,那么只要当前帧有效地图点多于10个即跟踪成功

三:重定位Relocalization():

1.计算当前帧的BoW
2.DetectRelocalizationCandidates()函数找到当前帧对应的候选关键帧
3.SearchByBow()匹配当前帧和每个关键帧,用EPNP估计位姿
如果估计成功,用估计所得的内点更新当前帧的特征匹配
4.PoseOptimization(),位姿优化,优化后,剔除外点

更新局部关键帧:

以上三种方法(运动模型跟踪,关键帧跟踪,重定位)都是基于帧间匹配,然后优化3D-2D重投影误差得到当前帧的初始位姿。
但是这样得到的初始位姿不是可靠的,其只利用了两帧数据的信息,如果前一帧质量太差,得到的位姿可信度低。因此为了利用更多的信息,需要进一步将当前帧与局部地图进行匹配和优化,也就是跟踪局部地图TrackLocalMap()

利用到之前所有所有能观察到当前帧对应地图点的的关键帧(共视关键帧)
1.更新局部关键帧和局部地图点
2.将当前帧视野范围内的地图点和当前帧的特征点进行投影匹配,在局部地图的全部地图点中查找与当前
帧匹配的MapPoints。SearchLocalPoints()
3.PoseOptimization()根据新的匹配点重新优化相机位姿

是否插入关键帧

完成上述步骤后,最后一部是确定是否需要插入关键帧NeedNewKeyFrame()和关键帧的插入CreateNewKeyFrame()
确定关键帧的标准如下:
(1)在上一个全局重定位后,又过了20帧;
(2)局部建图闲置,或在上一个关键帧插入后,又过了20帧;
(3) 当前帧跟踪到大于50个点;
(4)当前帧跟踪到的比参考关键帧少90%

至此,跟踪流程结束。

### ORB-SLAM3 跟踪实现及其常见问题 #### 实现细节 ORB-SLAM3跟踪模块负责实时估计相机姿态并匹配特征点。该算法利用了多线程框架来提高效率,其中主线程用于视觉里程计(VO),而其他线程则处理回环检测和其他后台任务。 对于单目输入,系统会尝试初始化尺度信息,这通常依赖于静态场景假设。然而,在存在动态物体的情况下,这些对象不再被简单地视为异常值;相反,它们为束调整(Bundle Adjustment, BA)和深度初始化提供了额外的几何约束[^1]。这种改进使得即使是在低纹理环境下也能更好地工作。 当涉及到双目或RGB-D传感器时,可以直接获得更可靠的深度测量数据,从而简化了初始阶段的工作难度,并提高了整体性能。DROID-SLAM同样能够支持多种类型的摄像机配置——包括但不限于上述提到的形式——并且能够在构建环境三维模型的同时完成自我定位的任务[^2]。 为了保持地图的一致性和准确性,`Map::ApplyScaledRotation`函数会在必要时候应用比例旋转变换至所有的摄像头位置以及对应的地图点上,确保所有元素都处于统一的世界坐标系内[^3]。 ```cpp // C++ code snippet showing part of the tracking process in ORB-SLAM3 void Tracking::Track() { // ... (other initialization steps) // Predict state with last frame's motion model. mpLastKeyFrame->UpdatePose(); // Associate current observations to map points using direct matching or PnP RANSAC. mnMatchesInliers = FrameDrawer::AssociateCurrentFrameWithMapPoints(mpTracker); // If there are enough matches... if(mnMatchesInliers >= mInsufficientFeatureThreshold){ Optimize(); } else{ ReLocalize(); // Attempt relocalization when too few features match. } // Update keyframe selection based on covisibility graph criteria. } ``` #### 常见问题及解决方案 - **丢失追踪**:如果连续几帧未能找到足够的共视关系,则可能发生这种情况。可以通过增加特征数量、改善光照条件或者减少快速移动来缓解此现象。 - **误识别动态目标**:虽然引入了新的机制来考虑动态障碍物的影响,但在某些情况下仍可能出现错误分类的情况。此时应加强区分静止背景与活动前景的能力。 - **内存泄漏/计算资源耗尽**:长时间运行可能导致内存占用过高。定期清理不必要的历史记录可以帮助维持系统的稳定运作。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值