CL关于ORB_SLAM的那些事（System）

最新推荐文章于 2025-02-15 15:15:17 发布
原创 最新推荐文章于 2025-02-15 15:15:17 发布 · 265 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析ORBSLAM视觉里程计框架，涵盖系统初始化、数据流、关键帧管理、闭环检测及地图更新机制。详细介绍System.cc构造函数初始化过程，传感器模型设定，以及跟踪、局部地图和闭环检测线程的启动流程。

System部分的学习和总结

这一篇博客是对整个ORB SLAM整个框架的描述以及数据流动的过程，包括关跟踪部分，关键帧的维护，闭环检测以及地图的维护。这也就意味着关于ORB SLAM部分的学习也将进入尾声，进入实操魔改阶段。https://www.dogedoge.com/
在这里插入图片描述
对于这张图太熟了，每个了解过ORB SLAM的人都看过这张图，今天我们来通过这张图来学习整个系统的框架。
System.cc的文件里，涉及到了构造函数的初始化。
输出系统的一些信息
输出当前输入的传感器模型（双目、单目和深度图）
打开配置文件
加载词袋模型
创建关键帧数据集，传入词袋指针
创建地图指针，new分配内存
创建可视化的画帧和画地图的指针，new分配内存
初始化跟踪线程
初始化局部地图
定义局部地图的线程（mptLocalMapping = new thread(&ORB_SLAM2::LocalMapping::Run,mpLocalMapper)
初始化闭环检测（new thread(&ORB_SLAM2::LoopClosing::Run, mpLoopCloser)）
定义闭环检测的线程

  • 如果需要使用可视化窗口
    • 初始化可视化
    • 定义可视化的线程
    • 在跟踪的线程中设置可视化

在跟踪中设置局部地图的指针
在跟踪中设置闭环检测的指针
在局部地图中设置跟踪的指针
在局部地图中设置闭环检测的指针
在闭环检测中设置跟踪的指针
在闭环检测中设置局部地图的指针
再往下就对应了三种不同的传感器（单目、双目和深度相机）的Track函数
单目
在这里插入图片描述
在这里插入图片描述
其余两个传感器的顺序都和单目的差不多，就是Grab函数这边不一样，这个后面我们也会重点看！
System里的其它函数：
各种保存轨迹的函数
设置两种模式（主动定位和停止定位）的函数
判断地图是否发生变化（获取最后一次大变化的索引，如果索引值大于0，地图就是有变化）
设置重启模式的函数
获取跟踪状态
获取跟踪的MapPoint
获取跟踪的关键点（去畸变）

时间：2019年09月20日
作者：hhuchen
机构：河海大学机电工程学院

DynaSLAM-1 从ORB-SLAM2到DynaSLAM的编译 v1.0版本
qq_41694024的博客
11-05 1690
从ORB-SLAM2到DynaSLAM的安装
ORB-SLAM2源码学习（一）——系统结构及System.cc
potxxx的博客
02-13 1859
开始阅读学习ORB-SLAM2的源码了，在这里做个学习记录，另外也是督促自己的学习的更加深入。 前言 首先ORB-SLAM2作为一个完整的slam系统，作者即提供了论文也有对应的源码，它的github主页： https://github.com/raulmur/ORB_SLAM2 系统包括了单目、双目、rgbd的实现，这里我主要学习单目slam系统，就以单目slam的流程来学习。 另外感...
ORB_SLAM2程序入口（System.cc）
weixin_43828675的博客
02-17 604
程序入口   ORB_SLAM2的程序入口为src/System.cc。在CMakeList.txt中可知，ORB_SLAM2的可执行程序为： Examples/Stereo/stereo_kitti.cc等。 add_executable(stereo_kitti Examples/Stereo/stereo_kitti.cc) target_link_libraries(stereo_kitti ${PROJECT_NAME}) add_executable(stereo_euroc Examples
ORB_SLAM2 定位模式
Mr.Andy的博客
05-02 6877
ORB_SLAM2 定位模式 上一篇博客记载了ORB_SLAM2地图保存与加载的过程，本篇博客接着上一篇博客的内容记录在已拥有地图的情况下，ORB_SLAM2定位模式的如何运行。 前提 为了实现纯定位，需要对上一篇博客的内容进行一点小小的修改。我们需要在Map.h文件中重新定义Load()函数。即： void Load(const string &filename,SystemSettin...
ORB-SLAM2从理论到代码实现（二）：System.cc程序分析
qq_20123207的博客
09-06 5240
     上一篇博客给大家了一个很模糊的ORB-SLAM轮廓，从这一篇博客开始，我们开始一起学习具体的理论和代码解读。在我的博客里会参考一些前辈的博客内容。我会把参考的链接放到最后。 二  System.cc 1.代码解读 System.cc是ORB-SLAM2的主程序，也是ORB-SLAM2系统的入口。本篇主要讲System.cc程序，以及其中用到的理论。 还来上一篇博客中的图。 ...
ORB_SLAM2源码解析－system.cc
zeng_haoyu的博客
11-06 1098
在mono_kitti.cc中通过SLAM.TrackMonocular(im,tframe)，进入SLAM系统也就来到了system.cc， #include "System.h" #include "Converter.h" #include <thread> #include <pangolin/pangolin.h> #include <iomanip&g...
ORB-SLAM2代码阅读笔记（二）：System.cc相关函数
05-15 3757
目录 1.System在ORB-SLAM2系统中的作用 2.System类构造函数 3.System::TrackMonocular函数 4.System::Shutdown函数 5.System::SaveKeyFrameTrajectoryTUM函数 6.本部分在总体流程中的位置 1.System在ORB-SLAM2系统中的作用 在ORB-SLAM2代码阅读笔记（一）：从mon...
CL关于ORB_SLAM的那些事（Tracking）
EyeToTheWorld的博客
08-21 553
关于Tracking部分的学习总结 看完了ORB SLAM的初始化部分，下面我们就来看一下Tracking部分。这也是整个ORB SLAM系统中比较重要的一个部分，话不多数说，开始吧。 头文件部分 这里面包含了opencv关于特征的两个头文件、可视化view.h、FrameDrawer.h、Map.h、局部地图LocalMapping.h、闭环检测LoopClosing.h、Frame.h、ORB...
ORB-SLAM3的源码学习： Settings.cc：Settings::readCamera1/readCamera2 从配置文件中加载相机参数
2301_76831056的博客
02-15 603
读取相机参数的函数
semantic_slam环境配置
蓝羽飞鸟的博客
06-16 3161
orb_slam2 + 语义分割 + 八叉树地图,
增强现实与ORB-SLAM3：ROS环境中的稠密点云地图增强技术应用
本文首先介绍了ORB-SLAM3的基本概念和在ROS环境下的集成方法，接着详细探讨了稠密点云地图的生成技术及其增强策略。在此基础上，文中进一步分析了稠密点云地图在增强现实应用中的实践案例，并讨论了点云地图的质量...
【Orb-SLAM3在复杂环境下的极致稳定】：Windows x64环境调整与优化技巧
本文全面介绍了Orb-SLAM3系统在Windows x64环境下的部署、配置、调试、性能优化、稳定化处理以及高级功能的开发和应用。通过对Orb-SLAM3在复杂环境下的调试分析，本文深入探讨了环境映射、跟踪问题诊断和稳定化改进...
SLAM入门之ORBSLAM2代码解析（一）代码入口 System.cc
霓而~
02-26 3677
System.cc是整个系统的主接口通过构造函数system()对SLAM系统初始化，传入ORB字典文件路径、配置文件路径、传感器类型System::System(const string &strVocFile, const string &strSettingsFile, const eSensor sensor, const bool bUseV...
ORB-SLAM2从理论到代码实现（六）：Tracking.cc程序详解（上）
qq_20123207的博客
09-10 6609
终于写到Tracking.cc了，想想还有点小激动呢。 本人邮箱jinbo666888@qq.com，欢迎交流。 本系列代码注释，是在吴博注释的基础上进一步注释。 1.Tracking 框架 Tracking线程流程框图：  各流程对应的主要函数（来自吴博@泡泡机器人）：   Tracking整体流程图（ 来自https://blog.youkuaiyun.com/chishuide...
CL关于ORB_SLAM的那些事（PnPsolver）
EyeToTheWorld的博客
09-08 1218
PnPsolver部分的学习总结 之前看的代码基本都是整个部分的功能，今天开始看一些求解器的cpp，主要就是两个吧，PnPsolver还有Sim3Solver。 ，开始吧！ .h部分的浏览 包含的头文件有，opencv、MapPoint.h、Frame.h PnPsolver类维护的变量（都是私有的）： double uc, vc, fu, fv：内参？ double * pws, * us, *...
CL关于ORB_SLAM的那些事（MapPoint）
EyeToTheWorld的博客
08-12 1212
MapPoint部分的学习 昨天在匹配方面一直提及MapPoint，它到底是何方神圣呢，其实从可视化的角度来讲，MapPoint就是我们运行ORB SLAM时在界面上看到的那些地图点，红色黑色的，接下来让我们深入了解一下这个类中都封装了什么函数，维护了哪些变量。 打开头文件，可以看到包括了KeyFrame、Frame和Map三个头文件。其中实现的函数有： 两个构造函数，一个用于关键帧，另一个用于...
CL关于ORB_SLAM的那些事（KeyFrame）
EyeToTheWorld的博客
08-14 968
KeyFrame部分的学习总结
CL关于ORB_SLAM的那些事（Sim3Solver）
EyeToTheWorld的博客
09-15 939
Sim3Solver部分的学习总结 刚刚看完关于PnP方面的代码，那就趁热打铁继续阅读关于Sim3Solver部分的代码吧，开始吧！ .h部分的阅读 该头文件里包含了关键帧的头文件维护的变量（protected）有： 两个关键帧指针存放1帧坐标系下的3D点坐标的容器 存放2帧坐标系下的3D点坐标的容器存放1帧内的MapPoints的容器 存放2帧内的MapPoints的容器存放两帧匹配上的MapP...
CL关于ORB_SLAM的那些事（Frame）
EyeToTheWorld的博客
08-07 718
Frame部分的学习 Frame中主要包括了不同传感器下的帧构造函数、提取ORB特征、计算词袋、设置传感器的姿态、更新位姿矩阵、获取传感器的中心、获取旋转矩阵的逆矩阵、判断地图点是否再被观测用于跟踪、计算关键点是否越过了栅格、获取关键点所在的区域、计算双目传感器的匹配、从深度图中计算得到右图的像素点位置、将关键点重投影到三维世界坐标系、获取去畸变的关键点、计算去畸变图像的边界、将特征点分配到某一个...
香橙派如何用gpu加速ros程序
最新发布
04-13
<think>好的，我现在需要回答用户关于如何在香橙派设备上利用GPU加速ROS程序的运行的问题。首先，我需要了解用户的具体需求和他们使用的硬件环境。根据用户提供的引用，他们使用的是OrangePi5Max或OrangePi AIpro，这两款设备都配备了ARM Mali-G610 GPU。用户可能在安装Ubuntu Server后安装了桌面环境，并希望在此配置下使用GPU加速ROS程序。 首先，我需要确认香橙派设备的GPU驱动是否已经正确安装。因为GPU加速需要相应的驱动支持，尤其是对于ARM架构的设备来说，驱动安装可能和x86平台有所不同。用户提到他们安装了Ubuntu 20.04的服务器版并自行安装了桌面，这可能意味着驱动需要手动安装或者通过特定仓库获取。Rockchip RK3588的Mali-G610驱动可能需要从Rockchip的官方源获取，或者使用社区维护的版本。我需要检查是否有适用于Ubuntu 20.04的Mali驱动，并确保用户正确安装了这些驱动。 接下来，ROS（Robot Operating System）本身并不直接支持GPU加速，但某些ROS的包或节点可以利用GPU进行计算，例如使用OpenGL、CUDA（如果是NVIDIA GPU）或者Vulkan等图形API。不过，由于香橙派使用的是ARM Mali GPU，CUDA可能不可行，需要考虑其他加速方式，比如OpenCL或者通过GPU加速的库如TensorFlow Lite、PyTorch等，或者使用ROS中的特定包，如使用GPU加速的SLAM算法或图像处理节点。 用户可能需要安装支持GPU加速的ROS包，或者自行开发节点，利用GPU进行运算。例如，在ROS中处理摄像头数据时，使用GPU加速图像处理；或者在导航算法中使用GPU进行并行计算。这需要确保相关的库和工具链在香橙派上可用。 此外，用户可能需要配置ROS环境，确保在编译相关包时链接到正确的GPU库。例如，在编译使用OpenCV的ROS节点时，需要确保OpenCV编译时启用了GPU支持，并链接到Mali的驱动库。这可能涉及到从源代码编译OpenCV，并设置相应的编译选项。 我还需要考虑用户提到的OrangePi AIpro是否支持昇腾（Ascend）AI处理器，这可能需要使用华为的CANN（Compute Architecture for Neural Networks）工具链，这可能与普通的GPU加速不同。如果用户使用的是AIpro，可能需要参考昇腾社区的文档，利用NPU而不是GPU进行加速，这需要不同的配置和代码调整。 总结步骤可能包括： 1. 确认GPU驱动安装正确，并验证GPU是否可用。 2. 安装支持GPU加速的库，如OpenCL、Mali OpenGL ES等。 3. 配置ROS环境，确保相关包能够使用这些库。 4. 编译或安装已支持GPU加速的ROS包，或自行开发节点。 5. 测试和验证GPU加速是否生效。 同时，需要提醒用户注意香橙派的架构（ARM64）可能导致某些ROS包或库的兼容性问题，可能需要寻找ARM兼容的版本或自行编译。例如，某些ROS包可能没有预编译的ARM版本，需要从源码构建。 另外，用户可能需要参考昇腾社区的示例程序，如引用[2]中提到的，运行官方的示例来测试NPU的性能，这可能与GPU加速不同，但同样可以提升AI相关的任务处理速度。 在回答过程中，我需要确保提到的步骤具体且可行，可能需要分步骤说明如何检查驱动、安装必要库、配置ROS等。同时，需要指出可能的陷阱，例如驱动安装失败、库版本不兼容等，并提供解决方案或参考链接。 最后，生成相关问题，例如询问如何安装Mali驱动、如何在ROS中使用OpenCL加速，或者如何优化ROS节点以利用NPU等。</think>### 如何在香橙派设备上利用GPU加速ROS程序的运行？ #### 1. **确认GPU驱动与硬件支持** - **检查GPU驱动状态** 香橙派设备（如OrangePi5Max）的Rockchip RK3588处理器搭载ARM Mali-G610 GPU，需确保已安装官方或社区维护的GPU驱动。 通过以下命令查看驱动状态： ```bash dmesg | grep Mali # 检查内核日志中GPU初始化信息 glxinfo -B # 验证OpenGL渲染器是否为Mali-G610 ``` 若未正确识别，需从Rockchip官网或香橙派社区获取驱动[^1]。 - **安装依赖库** Mali GPU加速通常依赖OpenGL ES、Vulkan或OpenCL库。安装基础开发包： ```bash sudo apt install mesa-utils libgles2-mesa-dev vulkan-utils ocl-icd-opencl-dev ``` #### 2. **配置ROS环境与GPU加速支持** - **安装ROS版本选择** 推荐使用ROS Noetic（Ubuntu 20.04）或ROS2 Foxy/Humble（Ubuntu 22.04），需确保ARM架构兼容性。 例如，安装ROS Noetic： ```bash sudo sh -c 'echo "deb http://packages.ros.org/ros/ubuntu focal main" > /etc/apt/sources.list.d/ros-latest.list' sudo apt-key adv --keyserver 'hkp://keyserver.ubuntu.com:80' --recv-key C1CF6E31E6BADE8868B172B4F42ED6FBAB17C654 sudo apt update && sudo apt install ros-noetic-desktop-full ``` - **编译支持GPU加速的ROS包** 某些ROS包（如`cv_bridge`、`image_transport`）依赖OpenCV的GPU加速功能。需从源码编译OpenCV并启用Mali支持： ```bash git clone https://github.com/opencv/opencv.git cd opencv && mkdir build && cd build cmake -D WITH_OPENGL=ON -D WITH_VULKAN=ON -D WITH_OPENCL=ON .. make -j4 && sudo make install ``` #### 3. **实现GPU加速的ROS节点示例** - **使用OpenCL加速图像处理** 编写ROS节点调用OpenCL进行图像处理（如边缘检测）： ```python #!/usr/bin/env python3 import rospy from sensor_msgs.msg import Image import pyopencl as cl import cv2 import numpy as np def image_callback(msg): # 将ROS Image转换为OpenCV格式 img = np.frombuffer(msg.data, dtype=np.uint8).reshape(msg.height, msg.width, 3) # OpenCL初始化 ctx = cl.create_some_context() queue = cl.CommandQueue(ctx) ... # GPU加速处理（伪代码） gpu_output = cl.Buffer(ctx, ...) program = cl.Program(ctx, opencl_kernel_code).build() program.edge_detection(queue, img.shape, None, ...) # 发布处理后的图像 pub.publish(msg) rospy.init_node('gpu_image_processor') rospy.Subscriber('/camera/image_raw', Image, image_callback) pub = rospy.Publisher('/gpu_processed_image', Image, queue_size=1) rospy.spin() ``` - **调用Vulkan加速的SLAM算法** 若使用支持Vulkan的SLAM库（如ORB-SLAM3），需在编译时启用Vulkan后端： ```bash cd ORB_SLAM3 mkdir build && cd build cmake -DUSE_VULKAN=ON .. make -j4 ``` #### 4. **验证GPU加速效果** - **性能监控工具** 使用`htop`、`nvtop`（需适配Mali）或`clinfo`监控GPU利用率： ```bash sudo apt install clinfo clinfo # 查看OpenCL设备信息 sudo apt install mali-bifrost-wayland-dkms # Mali性能计数器（若支持） ``` - **基准测试对比** 对比CPU与GPU处理同一任务的耗时，例如使用OpenCV的`DNN`模块加载模型： ```python net = cv2.dnn.readNetFromTensorflow("model.pb") net.setPreferableBackend(cv2.dnn.DNN_BACKEND_OPENCV) net.setPreferableTarget(cv2.dnn.DNN_TARGET_CPU) # 切换为DNN_TARGET_OPENCL ``` #### 5. **针对OrangePi AIpro的昇腾NPU加速** - **安装CANN工具链** 若使用OrangePi AIpro，需配置昇腾NPU的AscendCL库： ```bash wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/6.3.1/.../Ascend-cann-toolkit_6.3.1_linux-aarch64.run chmod +x Ascend-*.run ./Ascend-*.run --install ``` - **集成NPU加速至ROS节点** 调用昇腾AI接口实现目标检测加速： ```python from hiai import ModelManager model = ModelManager.load_model("yolov5.om") # 昇腾离线模型 results = model.infer(image_data) ``` --- ### 相关问题
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值