yolov8直接调用zed相机实现三维测距（python）

已于 2024-04-17 16:01:10 修改
阅读量2.8k 收藏 22
点赞数 4
CC 4.0 BY-SA版权
分类专栏： zed+yolo实现三维测距 三维测距 双目相机 文章标签： YOLO 数码相机 python
于 2024-03-25 23:26:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45077760/article/details/137029320
本文介绍了如何直接使用zed相机配合YOLOv8在Python环境下进行三维测距，无需相机标定。内容涵盖相关配置、版本一与版本二的代码实现及实验结果展示，提供了源码下载链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

yolov8直接调用zed相机实现三维测距（python）

相关链接
此项目直接调用zed相机实现三维测距，无需标定，相关内容如下：
1. yolov4直接调用zed相机实现三维测距
2.yolov5直接调用zed相机实现三维测距（python）
3. yolov7直接调用zed相机实现三维测距（python）
4. yolov9直接调用zed相机实现三维测距（python）
5. Windows+YOLOV8环境配置
6.具体实现效果已在哔哩哔哩发布，点击此链接跳转

<

了解本专栏 订阅专栏 解锁全文
YOLOV8识别物体，并返回物体的像素坐标
doudou2weiwei的博客
06-18 4913
C:\Users\82370\.conda\envs\Ayolo8\Lib\site-packages\ultralytics\engine\result.py（此处路径为你的anacod安装的虚拟环境Ayolo8位置）
使用深度相机D435i+YOLOv8实现物体三维坐标实时显示
doudou2weiwei的博客
06-24 8267
下列指令为获取相机内参指令，输入此指令前需要获得相机的深度帧和彩色帧数据。显示结果为：其中：640x480是像素宽度x像素高度；p[322.02 236.768]为主点（镜头光轴与图像平面的交点）的坐标；f[391.288 391.288]为焦距参数；Brown Conrady [0 0 0 0 0]分别表示畸变模型与畸变系数。
yolov8调用zed相机实现三维测距（版本一）
04-16
yolov8调用zed相机实现三维测距（版本一），具体内容见博客https://blog.youkuaiyun.com/qq_45077760?type=blog
CSS中的动画效果
2401_83641491的博客
04-07 520
每一帧图片连接到一块就组成了一个动画。小熊奔跑,背景及小熊。
yolov8+zed 实现三维测距（版本一）
积极向上的mr.d的博客
04-16 2618
yolov8调用zed相机实现三维测距（版本一）
zed-python-api:ZED SDK的Python API
05-22
Stereolabs ZED-Python API 该软件包可让您在Python 3中使用ZED立体相机。PythonAPI是ZED SDK的包装，ZED SDK是用C ++优化代码编写的。 我们使用Cython使ZED SDK可以从外部Python代码访问。 入门 首先，在上下载ZED SDK的最新版本。 有关更多信息，请阅读ZED和或我们的 先决条件 要开始在Python中使用ZED SDK，您需要在系统上安装以下依赖项： 及其依赖项 Python 3.5+ x64（推荐3.7， ） OpenCV Python（可选） PyOpenGL（可选） 请使用以下命令检查您的python版本。 结果应为3.5或更高。 python --version Cython和Numpy可以通过pip安装。 python -m pip install cython numpy 样本依
yolov5直接调用zed相机实现三维测距（python）
04-17
解压密码在文章末尾：https://blog.youkuaiyun.com/qq_45077760/article/details/127471793?spm=1001.2014.3001.5502
yolov9直接调用zed相机实现三维测距（python）
04-17
解压密码在文章末尾：https://blog.youkuaiyun.com/qq_45077760/article/details/137123733?spm=1001.2014.3001.5501
yolov7直接调用zed相机实现三维测距（python）
04-17
解压密码在文章末尾：https://blog.youkuaiyun.com/qq_45077760/article/details/137029691?spm=1001.2014.3001.5501
Realsense D435i 通过YOLOv5、YOLOv8输出目标三维坐标
Zeng999212的博客
10-19 1万+
使用realsense d435i 深度相机，通过yolov5、YOLOv8获取目标的三维坐标
yolov8直接调用zed相机实现三维测距（python）_yolov8检测物体的世界坐标高度
2401_84009549的博客
04-08 907
【代码】yolov8直接调用zed相机实现三维测距（python）_yolov8检测物体的世界坐标高度。
目标检测与跟踪 （2）- YOLO V8配置与测试
Techblog of HaoWANG
08-02 2925
1. 提供了一个全新的 SOTA 模型，包括 P5 640 和 P6 1280 分辨率的目标检测网络和基于 YOLACT 的实例分割模型。和 YOLOv5 一样，基于缩放系数也提供了 N/S/M/L/X 尺度的不同大小模型，用于满足不同场景需求骨干网络和 Neck 部分可能参考了 YOLOv7 ELAN 设计思想，将 YOLOv5 的 C3 结构换成了梯度流更丰富的 C2f 结构，并对不同尺度模型调整了不同的通道数。
自学历程15-YOLOv8使用ZED相机检测目标深度信息
qq_56516066的博客
04-26 1096
实际操作可行， 能够实现YOLOv8检测现实中目标信息，并返回该目标的三维位置信息。
【亲测免费】 YOLOv8 与 ZED 相机：开启三维测距新纪元
gitblog_09739的博客
09-06 928
YOLOv8 与 ZED 相机：开启三维测距新纪元 【下载地址】YOLOv8调用ZED相机实现三维测距版本一 本项目提供了一个基于 YOLOv8 和 ZED 相机的三维测距实现方案。通过结合 YOLOv8 的目标检测能力和 ZED 相机的深度感知功能，实现了对目标物体的三维定位和距离测量。 ...
目标检测算法——YOLOV8——算法详解
热门推荐
TigerZ*的博客
01-31 8万+
本文梳理Yolo v8 的改进点，并针对一些较难理解的点进行重点阐述，主要有如下几方面：backbone 使用C2f模块，检测头使用了anchor-free + Decoupled-head，损失函数使用了分类BCE、回归CIOU + VFL（新增项目）的组合，框匹配策略由静态匹配改为了Task-Aligned Assigner匹配方式、最后 10 个 epoch 关闭 Mosaic 的操作、训练总 epoch 数从 300 提升到了 500。
TensoeRT加速
HHW1231的博客
01-31 825
onnx
yolov8-zed
2301_78267730的博客
12-04 459
下载完成后将zed-yolo-master里面的文件复制到你的yolov8的根目录下。我的在这里ultralytics-main。安装对应版本的torch，好多大佬都有教，我就不班门弄斧啦。然后连接摄像头，运行detector.py进行检测。训练自己的模型，并加入双目距离。下载y8-zed官方例程。
如何通过 YOLOv7 调用 ZED 相机捕获图像信息生成三维数据并在 RVIZ 中实现可视化
最新发布
03-15
<think>好的，我现在需要回答用户的问题：如何利用YOLOv7和ZED相机生成三维数据，并在RVIZ中进行可视化。用户还特别提到结合ZED SDK捕获图像生成3D数据，并集成到ROS的RVIZ可视化教程。首先，我需要整理现有的信息，并参考用户提供的引用内容。 首先，根据引用[1]，ZED相机结合ROS Noetic Ninjemis有相关的教程和示例，这可能涉及到如何在ROS中使用ZED相机。引用[2]提到了ZED相机的SDK安装、标定和SLAM测试，这可能对配置环境有帮助。引用[3]则涉及使用YOLOv5和ZED相机进行三维测距的Python代码，这可能为YOLOv7的集成提供参考。 接下来，我需要思考用户的需求步骤。首先，可能需要安装ZED SDK和ROS驱动，然后配置YOLOv7的环境，接着进行数据捕获和3D坐标计算，最后将结果发布到ROS并在RVIZ中可视化。需要确保每个步骤都正确，并参考现有的教程和示例。 在安装部分，用户可能需要安装ZED SDK，这可以参考引用[2]中的Ubuntu 18.04安装步骤，但用户可能使用的是更新的系统，如Ubuntu 20.04或22.04，需要相应的指导。ROS的安装可能需要对应Noetic版本，如引用[1]提到的ROS Noetic。 然后，关于YOLOv7的集成，需要将检测结果与ZED的深度信息结合。ZED相机提供深度图或点云数据，可以利用这些数据获取检测目标的3D坐标。需要编写代码将YOLOv7的检测框与ZED的3D数据关联，可能需要使用ZED Python API或ROS包。 在ROS集成部分，需要创建ROS节点来发布检测结果和点云数据，使用适当的消息类型如BoundingBoxes或Marker，然后在RVIZ中订阅这些话题进行可视化。可能还需要坐标变换（TF）来正确显示位置。 需要注意的潜在问题包括：环境配置的兼容性（如CUDA版本与ZED SDK、YOLOv7的依赖），ROS消息的同步，以及3D坐标转换的准确性。此外，YOLOv7的输出可能需要调整以适应三维数据的处理，比如从2D检测框到3D空间位置的映射。 用户可能需要具体的代码示例，类似引用[3]中的YOLOv5代码，但需要适配到YOLOv7，并集成ROS功能。可能需要解释如何调用ZED的API获取深度信息，如何处理检测结果，以及如何发布到ROS。 最后，需要验证整个流程，确保在RVIZ中能够正确显示3D检测结果。可能还需要标定步骤，如引用[2]提到的联合标定，确保相机参数正确，以提高3D数据的准确性。 总结步骤应该是： 1. 安装ZED SDK和ROS驱动。 2. 配置YOLOv7环境并获取模型。 3. 开发Python脚本，使用ZED SDK捕获图像和深度信息，运行YOLOv7检测。 4. 将检测结果转换为3D坐标。 5. 创建ROS节点发布检测结果和点云/边界框。 6. 在RVIZ中配置可视化参数，显示3D数据。 需要确保每一步都有详细的说明，可能参考现有的教程，如引用[1]中的ROS教程和引用[3]中的测距代码结构。</think>### 分步教程：YOLOv7与ZED相机3D数据生成及RVIZ可视化 #### 1. 环境配置 **1.1 安装ZED SDK与ROS驱动** - 从[ZED官网](https://www.stereolabs.com/developers/)下载对应Ubuntu版本的ZED SDK（推荐2.8+版本） - ROS驱动安装（以Noetic为例）： ```bash sudo apt install ros-noetic-zed-ros-interfaces ros-noetic-zed-ros ``` - 验证驱动：`roslaunch zed_wrapper zed2i.launch` 启动相机节点[^2] **1.2 配置YOLOv7环境** - 克隆YOLOv7仓库： ```bash git clone https://github.com/WongKinYiu/yolov7.git ``` - 安装依赖： ```bash pip install -r requirements.txt ``` #### 2. 数据捕获与3D坐标计算 **2.1 ZED相机数据流捕获** ```python import pyzed.sl as sl zed = sl.Camera() init_params = sl.InitParameters() init_params.camera_resolution = sl.RESOLUTION.HD720 err = zed.open(init_params) runtime_params = sl.RuntimeParameters() image = sl.Mat() depth_map = sl.Mat() point_cloud = sl.Mat() ``` **2.2 YOLOv7检测与3D映射** ```python # 加载YOLOv7模型 model = torch.hub.load('WongKinYiu/yolov7', 'custom', 'yolov7.pt') # 主循环 while True: if zed.grab(runtime_params) == sl.ERROR_CODE.SUCCESS: zed.retrieve_image(image, sl.VIEW.LEFT) zed.retrieve_measure(depth_map, sl.MEASURE.DEPTH) zed.retrieve_measure(point_cloud, sl.MEASURE.XYZRGBA) # YOLOv7检测 img_cv2 = image.get_data()[:,:,:3] results = model(img_cv2) # 3D坐标计算 for det in results.xyxy[0]: x_center = (det[0]+det[2])/2 y_center = (det[1]+det[3])/2 err, point3D = point_cloud.get_value(x_center, y_center) ``` #### 3. ROS集成与可视化 **3.1 创建ROS节点发布数据** ```python import rospy from visualization_msgs.msg import Marker from sensor_msgs.msg import PointCloud2 class ZedYoloNode: def __init__(self): self.pub_markers = rospy.Publisher('/yolo_3d', Marker, queue_size=10) self.pub_pc = rospy.Publisher('/zed_pointcloud', PointCloud2, queue_size=10) def publish_marker(self, x, y, z, label): marker = Marker() marker.header.frame_id = "zed2i_left_camera_frame" marker.type = Marker.SPHERE marker.pose.position.x = x marker.pose.position.y = y marker.pose.position.z = z self.pub_markers.publish(marker) ``` **3.2 RVIZ配置** 1. 启动RVIZ：`rosrun rviz rviz` 2. 添加以下显示项： - **PointCloud2**：订阅`/zed_pointcloud` - **Marker**：订阅`/yolo_3d` 3. 设置坐标系为`zed2i_left_camera_frame` #### 4. 完整工作流集成 ```bash # Terminal 1: 启动ZED节点 roslaunch zed_wrapper zed2i.launch # Terminal 2: 运行集成脚本 python3 zed_yolov7_node.py # Terminal 3: 启动可视化 rviz -d ~/zed_yolo.rviz ``` #### 注意事项 - 标定验证：建议使用Kalibr工具进行相机-IMU联合标定[^2] - 性能优化：启用ZED的`DEPTH_MODE.ULTRA`模式提高深度精度 - 坐标系对齐：需确保YOLO检测坐标系与ZED点云坐标系一致
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

积极向上的mr.d

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值