orb slam3根据匹配特征点重建相机pose部分源码解读

已于 2022-07-07 13:48:48 修改
阅读量483 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 源码解读系列 文章标签： 计算机视觉 人工智能 slam
于 2022-05-27 13:49:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/level_code/article/details/125002457
本文详细解读ORB SLAM3中根据匹配特征点重建相机姿态的源码，涉及MapPoint、特征匹配、单应矩阵H和基础矩阵F的计算，以及相机旋转矩阵Rcw和平移向量tcw的求解过程。通过不断迭代优化，确定最佳的相机位姿。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本节解释了用前后两帧匹配的Keypoint对来重建相机pose

地图点类型在MapPoint类，
里面包含很多信息，就不一一列举了，参考MapPoint.h
大致包含了世界坐标，keyframe和它的observations
view direction, 参照的keyframe, 做matching的best descriptor,bad flag(提示不好的点，但是目前不移除）

后面提取的Map point会保存在mvpMapPoints里

此部分在Tracking::Track(),

进入Map* pCurrentMap = mpAtlas->GetCurrentMap();

把之前检测到的9481个特征点的坐标pt 放入mvbPrevMatched，注意只有坐标，没有其他信息了

第一张图片只是检测特征点，并设置一些初始状态，并没有匹配建图，
接着读下一张图片

提取ORB特征，和上一帧的特征点匹配
保存对应匹配的keypoint的坐标到vbPrevMatched，Prev表示与上一帧的keypoint匹配

具体怎么匹配见orb_feature.txt

几个定义：
相机旋转矩阵Rcw, 平移向量（矩阵）tcw

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【ORB_SLAM3源码解读】IMU基础介绍、IMU姿态、速度、位置解算以及误差方程、坐标系
小秋 AI SLAM 入门实战教程
04-29 9975
ORB_SLAM3优势 IMU(Inertial Measurement Unit),惯性测量单元 • 典型 6 轴 IMU 以较高频率(≥ 100Hz)返回被测量物体的角速度与加速度 • 受自身温度、零偏、振动等因素干扰,积分得到的平移和旋转容易漂移 六自由度 IMU 本身由一个陀螺仪和一个加速度计组成,分别测量自身的角速度和加速度。 IMU 适合计算短时间、快速的运动; 快速响应,不受成像质量影响,角速度普遍比较准确,可估计绝对尺度 存在零偏,低精度 IMU 积分位姿发散,高精度价格昂贵 可利用视觉定位
orb slam3地图，共视图更新部分源码解读
蓝羽飞鸟的博客
07-13 433
共视图，关键帧，地图，BA部分源码解读
【Orb-Slam3学习】 特征匹配函数的目的与分类
weixin_68880273的博客
08-24 757
特征匹配的目的大致有3个： 1、特征点最朴素的匹配方式的暴力匹配，但是暴力匹配过于耗时。从而在Orb-Slam3中为快速进行特征点匹配创建了多个特征匹配函数。 此目的采用缩小特征点搜索范围达到，具体由以下三种方式达到： 1、利用地图点投影至当前帧，缩小搜索范围。搜索半径有特征点金字塔尺度相关联； 2、利用词袋模型搜索，每个描述子转化为单词后会包含一个属性，叫作单词所属的节点ID，这个节点ID 距离叶子的层级就是 level up。在进行特征匹配时，只在该单词所属的节点
2.5ORB-SLAM3之基于SAD滑窗的双目特征匹配
超爱吃小蛋糕的66的博客
11-24 1421
简单的说，ORB-SLAM中的双目匹配只对特征点进行操作，根据左目图像中的特征点坐标搜索其在右目图像的对应匹配点，并将右目图像匹配点的x坐标储存在成员变量。例如左目图像某个特征点的纵坐标为20，那么在右侧图像上搜索时是在纵坐标为18到22这条带上搜索，搜索带宽度为正负2，搜索带的宽度和特征点所在金字塔层数有关。,这是一个二维向量，外层大小为图像的行数nRows，记录特征点在右目图像的纵坐标，内曾大小为带状区域的宽度，记录特征点的索引。首先，将上面的到的匹配对的坐标乘以一个尺度因子，变成对应金字塔层的坐标，
重磅直播！ORB-SLAM3系列之特征匹配（MLPnP、词袋模型等）。
3D视觉工坊
06-11 409
ORB-SLAM3 ORB特征提取与匹配
xiaoma_bk的博客
11-09 4167
orb 特征提取 orb 特征匹配
（一）ORB-SLAM3 中 orb 特征提取匹配部分详解
weixin_62952541的博客
04-24 1360
ORBextractor.cc 代码详解（按代码执行顺序分析）
ORBSLAM3源码备份
最新发布
04-03
ORBSLAM3的核心功能包括提取关键点、匹配特征、跟踪相机运动、构建地图以及回环检测等。 关键点提取在ORBSLAM3中通常采用ORB特征，这是一种旋转不变、尺度不变的二进制描述符，由O. Rublee等人于2011年提出，相比于...
orb slam3之BA部分源码解读
蓝羽飞鸟的博客
05-27 407
提前透露一下，用的是g2o库 Optimizer::GlobalBundleAdjustemnt(mpAtlas->GetCurrentMap(),20); 迭代次数是20 然后进入BundleAdjustment(vpKFs,vpMP,nIterations,pbStopFlag, nLoopKF, bRobust); vpKFs是所有的keyframes, vpMP是所有的map points, nLoopKF是0， bRobust是true 现在有2个keyframe, 473个map poin
（二）ORB-SLAM3 中 orb 特征提取匹配部分详解
weixin_62952541的博客
04-24 846
ORBextractor.cc 代码详解（按代码执行顺序分析）
SLAM前端（里程计三）：不同情况下的ORB特征点匹配
LittleEmperor的博客
04-01 679
ORBSLAM中对于特征点的匹配在不同情况下有不同的匹配方式。分为以下几种： 1.按照投影进行匹配 2.按照bow向量节点进行匹配 3.针对初始化地图点的匹配 4.针对单目三角化的匹配 5.基于相似矩阵的匹配 6.通过匹配来提出冗余地图点 一、首先看按照投影进行的匹配 按照投影方式的不同将其分为上一帧投影到当前帧（tracking线程的按照运动模型进行位姿估计），关键帧...
6.0ORBSLAM3之几种特征匹配方式总结
超爱吃小蛋糕的66的博客
07-07 1896
结合代码看，ORBSLAM3中的特征匹配从来不用整副图像的暴力匹配，一般都使用一些加速方法，综合的看大致分为以下几种： 1. 基于网格注册信息的特征匹配加速 涉及到3D-2D匹配，对于将3D地图点投影到图像帧寻找匹配点时一般使用特征点网格注册信息，在3D点投影位置的附近网格区域内寻找匹配点 2. 基于词袋向量的特征匹配加速 涉及到2D-2D匹配，特别的关键帧与关键帧，关键帧与普通帧之间的匹配，一般基于词袋向量加速匹配，只对属于同一节点下的特征点遍历寻找匹配 3. 基于带状搜索的匹配方法
orb slam3 orb特征提取与匹配部分源码解读
蓝羽飞鸟的博客
05-12 830
提取ORB特征: ExtractORB函数, 传入灰度图 ORB特征提取第一步，提取FAST角点： 计算图像金字塔，金字塔图像保存在mvImagePyramid里，按从底层到上层的顺序保存 8叉树特征点,计算8叉树时，外边框16pixel的不要，分成35x35的小块, 但要根据长和宽能不能整除做调整， 在276x1244的图像中，是39x36的小块， 按块扫描图像，每行每列重叠6个像素， 每块区域提取FAST角点，阈值取20，用到NMS，如果用阈值20提取不到特征点，就把阈值降到7再次提取， 因为这提取的是
基于图像特征点匹配的三维立体重建
热门推荐
若比邻的博客
04-21 1万+
一.图像特征点检测与匹配以下内容参考科学出版社康莱老师的《基于图像点特征的多视图三维重建》和华中科技大学王跃嵩的硕士论文《多视图立体匹配三维重建方法》1.图像特征点检测    确定特征点的位置，方向和尺度等仿射变换参数的过程。目前流行的特征点检测算法：Laplacian检测算法，高斯差分DOG算法，以及根据梯度协方差矩阵检测图中的角点位置的*等检测算法，其中基于DOG的特征点检测方法——尺度不变特...
重磅直播！ORBSLAM3中的匹配算法分享
3D视觉工坊
04-29 338
基于特征匹配的摄像头姿态估计
lyq123180的专栏
08-08 2719
在完成摄像机标定后可以获得摄像机内参数矩阵K，我们就可以与之前的特征检测结合起来，从摄像头不同角度位置拍摄同一本书的图像中获取摄像头的位置（即旋转平移矩阵）。 方法可以见下述博客一直到重构场景上面的内容。 http://blog.youkuaiyun.com/zkl99999/article/details/46467277 重点看找到相机矩阵小结。 方法是通过特征匹配的点
2020-12-16 三维重建之（二）Sift特征提取与匹配
weixin_44119674的博客
12-16 697
三维重建之（二）Sift特征提取与匹配 SIFT算法详解（1）综述与尺度空间检测 http://blog.youkuaiyun.com/lhanchao/article/details/52345845 SIFT算法详解（2）极值点的精确定位与特征点方向的计算 http://blog.youkuaiyun.com/lhanchao/article/details/52400936 SIFT算法详解（3）特征点描述符的生成 http://blog.youkuaiyun.com/lhanchao/article/details/52403284
【SLAM学习笔记】8-ORB_SLAM3关键源码分析⑥ Optimizer（三）全局优化
qq_47891062的博客
11-14 1238
2021SC@SDUSC
SLAM——ORB-SLAM3代码分析（一）MapPoint（1）
qq_45794281的博客
10-17 1900
2021SC@SDUSC MapPoint分析 MapPoint.h的分析 MapPoint.cc的分析 一、MapPoint.h的分析 众所周知，由于ORN-SLAM3项目的综合性性，代码较多而且较为复杂，涉及很多方面。因为我选择选取几个点逐个击破。首先选择是与地图相关的MapPoint,这篇博客主要分析的MapPoint.h涉及的内容是地图点。 首先来看声明的相关头文件，主要涉及opencv,mutex,boost。<mutex>中声明的是与 Mutex 相关的类(包括锁类型)和函数。o
ORBSLAM3 ROS实时建图
04-03
### 使用 ORB_SLAM3 在 ROS 中进行实时建图 #### 一、环境配置 为了在 ROS 下成功运行 ORB_SLAM3 并实现实时建图，需先完成必要的软件安装与依赖项设置。以下是具体操作： 1. **操作系统准备** 建议使用 Ubuntu 20.04 LTS 和 ROS Noetic 版本作为开发平台[^1]。 2. **克隆 ORB_SLAM3 源码库** 将官方仓库中的 ORB_SLAM3 源码下载到本地工作目录中： ```bash git clone https://github.com/UZI-Research-Lab/ORB_SLAM3.git ``` 3. **构建 ROS 功能模块** 切换至源码根目录并执行以下命令以启用 ROS 支持： ```bash cd ORB_SLAM3 chmod +x build_ros.sh ./build_ros.sh ``` 此脚本会自动编译项目并与当前 ROS 工作空间集成[^2]。 --- #### 二、参数文件配置 实时建图的核心在于正确配置 YAML 文件以及指定词汇表路径。这些文件定义了相机模型、传感器类型以及其他算法所需的超参数。 1. **选择合适的 YAML 参数文件** 对于单目摄像头 (Monocular)，双目摄像头 (Stereo) 或 RGB-D 数据流，分别选用对应的配置模板。例如： - 单目模式：`Examples/Monocular/mav0_mono.yaml` - 双目模式：`Examples/Stereo/stereo_kitti.yaml` - RGB-D 模式：`configyaml/intel_RGBD.yaml` 2. **修改参数适配硬件设备** 打开选定的 YAML 文件，调整分辨率 (`image_width`, `image_height`)、焦距 (`fx`, `fy`) 和主点偏移量 (`cx`, `cy`) 等字段来匹配实际使用的摄像机校准结果。 --- #### 三、启动节点与数据订阅 通过 ROS 节点发布图像话题并将它们传递给 ORB_SLAM3 处理器。 1. **运行核心 SLAM 节点** 启动 ORB_SLAM3 主程序时需要提供词汇表位置和上述提到的 YAML 配置文件名： ```bash rosrun ORB_SLAM3 RGBD Vocabulary/ORBvoc.txt configyaml/intel_RGBD.yaml ``` 如果采用其他输入方式（如纯视觉或惯导辅助），则替换为相应的入口函数名称，比如 `rosrun ORB_SLAM3 Monocular ...`. 2. **同步发布传感器消息** 若利用真实世界采集的数据，则可通过 Gazebo 模拟器或其他工具模拟生成 `/camera/rgb/image_rect_color` 和 `/camera/depth_registered/swapped` 类型的话题；或者录制自定义 bag 包供离线测试之用： ```bash rosbag record -O custom_dataset.bag /camera/rgb/image_raw /camera/depth/image_raw ``` 当回放记录好的序列帧时记得加上时间戳选项以便保持时间一致性[^3]: ```bash rosbag play --clock custom_dataset.bag ``` --- #### 四、可视化效果验证 最后一步是在 RViz 或者终端界面观察定位轨迹及地图重建成果是否正常运作。 1. 添加 Marker 显示三维点云分布情况； 2. 查看 Camera Pose Graph 是否稳定收敛； 3. 记录最终保存的地图文件用于后续分析评估性能指标。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝羽飞鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值