ORB_SLAM3结合YOLO实现特征点标记和目标空间定位 | 1环境配置

最新推荐文章于 2024-04-15 10:55:02 发布
原创 最新推荐文章于 2024-04-15 10:55:02 发布 · 4.2k 阅读 · 78 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#YOLO #linux

本文介绍了如何在C++环境中部署YOLO并将其与ORB_SLAM3集成，包括环境配置（如ROSNoetic、OpenCV4.2.0、Eigen3.3.9、Pangolin0.5和LibTorch1.7.0）以及使用UNIX域Socket进行Python和C++通信的方法。作者详细描述了各个库的安装步骤和注意事项。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

前言

由于YOLO的源码采用Python编写，ORB_SLAM3则采用C++编写，要将YOLO与SLAM结合，常见的方法有以下三种：

1 先跑一遍YOLO程序，获得带有检测目标边界框的语义信息，然后再运行ORB_SLAM3结合边界框的语义信息去标记特征点，但这样做实际意义不大，YOLO和SLAM异步运行；

2 使用UNIX域Socket实现Python和C++通信，该协议仅需要经过网络协议栈，不需要打包拆包、计算校验和、维护序列号应答，可以实现较高的通讯效率；

yolov5和orbslam2结合的实现方法 [使用UNIX域socket实现python和c++通信]

3 使用C++去部署YOLO，在ORB_SLAM3中单独写一个类用于实现YOLO目标检测，笔者使用libtorch部署YOLO。

1 环境配置

笔者使用Ubuntu20.04，内核版本如下（使用uname -a查看）：

Linux z 5.15.0-101-generic #111~20.04.1-Ubuntu SMP Mon Mar 11 15:44:43 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux

建议包安装的版本与下面列出的一致，已经过验证可以完美运行。

1.1 安装ROS Noetic

建议使用ROS去配置基础环境，其可以帮助我们解决许多依赖的问题，具体的安装方法可以参考笔者的这篇文章，非常简单！

Ubuntu20.04 安装 ROS Noetic

1.2 安装OpenCV 4.2.0

下载：OpenCV 4.2.0
下载完成后解压，进入./opencv-4.2.0目录执行：

mkdir build && cd build

cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..

make -j4 && sudo make install

安装过程中如果出现IPPICV: Download: ippicv_2019_lnx_intel64_general_20180723.tgz报错或卡住的情况，可以参考笔者的这篇文章解决：

解决OpenCV4.2.0安装时出现IPPICV: Download: ippicv_2019_lnx_intel64_general_20180723.tgz报错或卡住

1.3 安装Eigen 3.3.9

下载：eigen 3.3.9
下载完成后解压，进入./eigen-3.3.9目录执行：

mkdir build && cd build && cmake .. && sudo make install

1.4 安装Pangolin 0.5

下载：Pangolin 0.5
直接安装会出现错误，需要修改部分的代码，具体的安装过程可以参考笔者的这篇文章：

ORB_SLAM3结合YOLO实现特征点标记和目标空间定位 | 1.4 安装Pangolin0.5

1.5 安装LibTorch 1.7.0 cpu

下载：LibTorch 1.7.0 cpu
不需要安装，直接在CMakeLists.txt中声明路径即可。

2 代码分析

ORB_SLAM3结合YOLO实现特征点标记和目标空间定位 | 2 代码分析

3 C++部署YOLO

ORB_SLAM3结合YOLO实现特征点标记和目标空间定位 | 3 C++部署YOLO

4 测试

ORB_SLAM3结合YOLO实现特征点标记和目标空间定位 | 4 测试

胖胖张i
关注
YOLO与ORB-SLAM3的结合：实现动态环境下的目标检测与视觉SLAM
FJN110的博客
06-23 121
摘要： 本文介绍如何将YOLOv5目标检测与ORB-SLAM3视觉SLAM系统结合，实现动态环境下的机器人感知与定位。内容包括：源码下载（集成项目YOLO_ORB_SLAM3）、libtorch安装（PyTorch C++支持）、编译配置（解决路径依赖问题）、ROS环境下的部署（Noetic适配），以及使用TUM数据集的测试流程（RGB-D数据关联与运行）。重点解决编译时Torch路径错误、ROS与Anaconda冲突等问题，并展示系统运行效果。该整合方案为动态场景SLAM提供目标检测能力，未来可优化检测模
YOLO_ORB_SLAM3编译运行
2302_80099075的博客
09-03 3417
这是一位大佬写的改进版ORB_SLAM3，加入了yolov5进行目标检测，并能实现动态场景下的SLAM。基于已经对ORB-SLAM3和YOLOv5进行过安装配置。由于环境的不同，在实际编译运行过程中遇到的问题会不同。
基于YOLOv3和视觉SLAM的语义地图构建
02-11
以相机作为输入的视觉同时定位与建图(SLAM)系统在地图构建过程中虽然可以保留点云的空间几何信息,但是并没有完全利用环境中物体的语义信息。针对这个问题,对当前主流视觉SLAM系统和基于Faster R-CNN、YOLO等神经网络结构的目标检测算法进行研究。并提出一种有效的点云分割方法,该方法引入支撑平面以提升分割结果的鲁棒性。最后在ORB-SLAM系统的基础上,结合YOLOv3算法进行环境场景的物体检测并保证构建的点云地图具有语义信息。实验结果表明,所提方法可以构建几何信息复杂的语义地图,从而可应用于无人车或机器人的导航工作中。
目标检测YOLO实战应用案例100讲-结合YOLOv5神经网络轻量化改进的视觉SLAM（续）
qq_36130719的博客
12-28 1747
（1）首先对应backbone部分，使用轻量级的模型进行替换，传统选择有 EfficientNet B0、ShuffleNet V2、MobileNet V3等，这些模型不仅具有较少的参 数量，还可以在保持较高准确率的情况下，实现较快的推理速度。个可选的残差链接组成，1x1卷积层可以有效地在不改变特征图尺寸的情况下 进行通道间的信息融合，3x3卷积层是卷积神经网络中的常见组件，可以在保 持较低计算复杂度的同时提取丰富的特征信息，残差连接有助于梯度在网络中。的传播，提高训练稳定性。的设计结构相结合完成改进。
ROS+YOLOV8+SLAM智能小车导航实战（一概念）
qq_21583319的博客
04-15 1253
一、概念了解 1. ROS（Robot Operating System） 基础概念： 定义：ROS是一个用于编写机器人软件的灵活框架。 目的：简化机器人软件开发，提供硬件抽象、底层设备控制和常用功能。 核心组件： 节点（Nodes）：ROS中的程序实体，负责执行特定任务。 主题（Topics）：节点间通信的渠道，发布/订阅模式。 服务（Services）：请求/响应模式的通信，用于同步操作。 动作（Actions）：长时间运行的异步任务。 实践操作： 安装ROS：步
深度学习与SLAM：ORB_SLAM-YOLOv5
逆水独流的博客
07-21 9092
SLAM-YOLOv5 做物体SLAM的时候本来想找到一个和SLAM结合的，并且是c++版本的目标检测系统，github上面一搜，不是很多，大部分都是离线检测，再不然就是ROS版本或者Python版本的YOLO（不是说不行，但是个人感觉速度很奇怪，速度也不快），满足我要求的几乎没有，因此干脆花了点时间自己东拼西凑一个出来。 代码链接：https://gitee.com/NiShuiDuLiu/slam-yolo 环境配置 由于深度学习不可避免的涉及到显卡安装等各类问题，这里把我自己的配置罗列下（安装过程没啥
ORB_SLAM3_YOLO
02-28
为了将ORB_SLAM3与YOLO进行有效集成，可以创建一个新的类来专门处理YOLO的目标检测功能，并将其嵌入到ORB_SLAM3框架中。此过程涉及环境配置以及代码层面的具体改动。 #### 创建YOLO检测器类 通过继承或组合的方式...
ORB-SLAM3-ROS版本（带稠密点云地图）
08-04
git clone https://github.com/lturing/ORB_SLAM3_ROS 针对上面的连接下载不下来文件的情况，上传ORB_SLAM3_ROS代码，该代码包括RGBD稠密建图的程序
YOLO_ORB_SLAM3
02-22
YOLO_ORB_SLAM3 结合了ORB-SLAM3 和 YOLOv5 物体检测框架，在动态环境中提供了增强的同步定位与建图(SLAM)能力[^3]。 #### 创建关联脚本 对于非ROS环境下的应用，可以在 `YOLO_ORB_SLAM3/Examples/RGB-D` 文件夹内...
SLAM-密集点云版本的ORB-SLAM2算法实现-优质项目实战.zip
10-20
为了克服这一难题，研究者们对ORB-SLAM2算法进行了改进，旨在提升处理密集点云数据的能力，以实现在大规模复杂环境下的实时定位与地图构建。 在具体实现方面，密集点云版本的ORB-SLAM2可能包括以下几个关键步骤： ...
dre_slam安装过程中用到的yolo3配置文件
08-17
dre_slam安装过程中用到的yolo3配置文件 对应步骤为： wget https://pjreddie.com/media/files/yolov3.weights wget https://github.com/pjreddie/darknet/blob/master/cfg/yolov3.cfg?raw=true -O ./yolov3.cfg wget https://github.com/pjreddie/darknet/blob/master/data/coco.names?raw=true -O ./coco.names
0873-极智开发-解读寻找最近点对及示例代码
02-22
0873_极智开发_解读寻找最近点对及示例代码
MVision：机器人视觉移动机器人VS-SLAM ORB-SLAM2深度学习目标检测yolov3行为检测opencv PCL机器学习无人驾驶
02-05
MVision机器视觉机器视觉 感谢支持 无人驾驶的各个方面知识 1. 感知（Perception）： 主要涉及的技术点包括场景理解、交通状况分析、路面检测、空间检测、 障碍物检测、行人检测、路沿检测、车道检测。还有一个比较新颖有趣的是通过胎压去检测道路质量。 在无人驾驶行业，有一套通用的数据集——KITTI数据集，里面有不同的数据，包括双目视觉的数据、定位导航的数据等。 物体检测（Object Detection）： 传统方法主要是针对固定物体的检测。一般的方法是HOG（ 方向梯度直方图），然后再加一个SVM的分类器。 而对于动
基于ORB-SLAM2与YOLOv8剔除动态特征点
weixin_51995147的博客
02-17 2884
基于ORB_SLAM2与YOLOv8对动态场景中受影响的特征点进行剔除，采用了两种方法
视觉惯性SLAM系列——ORB-SLAM3的重定位线程（Relocalization Thread）（九）
曾经也曾立志
02-04 551
重定位线程（Relocalization Thread）在ORB-SLAM3系统中扮演着关键的角色，尤其是在跟踪丢失的情况下。这个线程的主要任务是在相机失去当前轨迹的实时跟踪时，尝试重新定位相机在全局地图（Atlas）中的位置。重定位线程是ORB-SLAM3系统中的“安全网”，它确保了即使在最不利的情况下，系统也能够恢复到正确的轨迹。通过这种方式，ORB-SLAM3能够在复杂和动态的环境中保持鲁棒性，为用户提供连续和准确的定位服务。
ORBSLAM3的跟踪方式
qq_41861406的博客
09-19 752
参考关键帧跟踪、恒速模型跟踪、IMU预测位姿、重定位跟踪、局部地图跟踪，需要注意的是在存在惯导的模式下不会进行重定位跟踪，因此不管是纯视觉还是存在惯导的ORBSLAM3都只有四种种跟踪形式。
【YOLO源码解读】
小秋 AI SLAM 入门实战教程
08-12 534
cfg,data,weights：cfg是模型的参数，data是你的数据集路径，weights 是预训练模型； hyp：参数咱暂时用不上，是指定一些超参数用的（学习率啥的）； epochs：轮数，默认300，需要指定； batch-size：一次喂多少数据，我这内存就能给16； img-size：训练和测试数据集的图片尺寸(个人理解为分辨率)，默认640，640 nargs='+' 表示参数可设置一个或多个； rect：只要加上’–rect’程序就会将rect设...
ORB_SLAM3结合YOLO实现特征点标记和目标空间定位 | 1.4 安装Pangolin0.5
陈念Cheniana
04-01 1060
Pangolin0.5 ORB_SLAM3 报错
orb-slam3结合yolov5一起使用
最新发布
03-23
<think>好的，我现在需要帮助用户解决如何将ORB-SLAM3与YOLOv5集成使用的问题。首先，我得先了解这两个系统各自的功能和接口，然后才能思考如何将它们结合起来。 ORB-SLAM3是一个视觉SLAM系统，主要用于实时定位与建图，它通过摄像头输入来估计相机的姿态并构建环境的地图。而YOLOv5是一个目标检测模型，能够实时识别图像中的物体并给出边界框和类别。用户可能希望将YOLOv5的检测结果融入到ORB-SLAM3中，比如在SLAM生成的地图上标注物体信息，或者利用检测结果来改进SLAM的精度或鲁棒性。 接下来，我需要考虑集成的步骤。首先，应该确保两个系统能够同时运行，可能需要多线程或进程间通信。ORB-SLAM3通常是用C++编写的，而YOLOv5使用Python，所以可能需要跨语言通信的方法，比如使用ROS（机器人操作系统）作为中间件，或者使用C++调用Python的接口，例如Pybind11。 然后是数据同步的问题。两个系统都需要处理同一帧图像，因此需要确保时间戳同步，或者至少能够处理同一帧的数据。在ROS中，可以使用消息同步机制来保证这一点。 接下来是数据融合。YOLOv5的输出包括检测到的物体的类别和位置，这些信息需要传递给ORB-SLAM3。可能的做法是在ORB-SLAM3的地图中添加语义信息，比如将检测到的物体与地图中的特征点或关键帧关联起来。此外，检测到的物体可能帮助SLAM系统更好地理解场景，比如通过已知物体的大小来优化尺度估计，或者通过静态物体的检测来过滤动态物体，提高定位的准确性。 还需要考虑系统的实时性。两个系统都是实时处理的，因此集成后的系统需要保持高效，避免过多的计算延迟。可能需要优化数据传递和处理流程，比如将YOLOv5的检测结果异步传递给ORB-SLAM3，或者降低检测的频率以节省计算资源。 另外，代码层面的集成可能需要修改ORB-SLAM3的源码，添加处理YOLOv5输出的部分。例如，在ORB-SLAM3的关键帧生成时，调用YOLOv5进行检测，并将结果存储在地图中。同时，可能需要设计合适的数据结构来保存语义信息，如物体类别、置信度、边界框等。 测试和验证也是关键步骤。集成后需要评估系统的定位精度、建图效果以及语义信息的准确性。可能需要使用公开的数据集或自行采集数据，进行定量和定性的分析。 最后，用户可能还需要了解如何部署集成后的系统，比如在机器人或无人机上的实际应用，处理传感器数据输入，以及可能的硬件加速（如使用GPU运行YOLOv5）以提升性能。</think>### 如何将ORB-SLAM3与YOLOv5集成使用 将ORB-SLAM3（视觉SLAM系统）与YOLOv5（目标检测模型）集成，可以实现带有语义信息的实时定位与建图。以下是具体步骤和关键技术点： --- #### 1. **系统架构设计** - **数据流同步**：通过多线程或ROS节点实现图像数据的同步获取与分发[^1] - **跨语言通信**：使用ROS消息或Pybind11库实现C++（ORB-SLAM3）与Python（YOLOv5）的交互 - **典型流程**： ```text 摄像头输入 → 图像预处理 → ORB-SLAM3定位建图（C++） ↓ YOLOv5目标检测（Python） → 语义信息融合 ``` --- #### 2. **关键技术实现** **(1) 图像数据同步** - 使用时间戳对齐策略或硬件触发确保两系统处理同一帧图像 - ROS实现示例： ```cpp // C++端（ORB-SLAM3） void ImageGrabber::GrabImage(const sensor_msgs::ImageConstPtr& msg) { cv_bridge::CvImageConstPtr cv_ptr; cv_ptr = cv_bridge::toCvShare(msg); // 触发YOLOv5检测服务 } ``` **(2) 语义信息融合** - 在ORB-SLAM3地图点/关键帧中添加语义标签： ```cpp class MapPoint { public: std::vector<std::string> semantic_labels; // 新增语义标签字段 cv::Rect2f detection_box; // 检测框坐标 }; ``` - 通过坐标变换将YOLOv5检测框映射到SLAM坐标系： $$x_{map} = K^{-1} \cdot x_{pixel} \cdot depth$$ 其中$K$为相机内参矩阵，$depth$为对应像素深度值 **(3) 动态物体过滤** - 利用YOLOv5检测结果识别动态物体（如行人、车辆）： ```python # YOLOv5检测输出处理 def filter_dynamic_objects(detections): dynamic_classes = [&#39;person&#39;, &#39;car&#39;, &#39;bus&#39;] return [obj for obj in detections if obj[&#39;class&#39;] in dynamic_classes] ``` 将动态物体对应特征点从SLAM系统中剔除[^2] --- #### 3. **代码集成示例 **(1) ROS服务定义** ```python # YOLOv5检测服务（Python） from yolov5.detect import run def handle_detection(req): results = run(weights=&#39;yolov5s.pt&#39;, source=req.image) return DetectionResponse(results) ``` **(2) ORB-SLAM3修改** ```cpp // 在Tracking线程中添加检测调用 void Tracking::Track() { // 原始SLAM流程... // 调用YOLOv5检测 auto detections = yolov5_client->detect(current_frame); // 语义信息融合... } ``` --- #### 4. **性能优化建议** - **硬件加速**：使用TensorRT部署YOLOv5，推理速度可提升3-5倍 - **异步处理**：将目标检测与SLAM线程分离，通过环形缓冲区交换数据 - **选择性检测**：每N帧执行一次完整检测，中间帧使用跟踪算法（如DeepSORT） ---
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值