智能无人机自主追踪小车实验——基础篇（全面总结）

最新推荐文章于 2024-12-17 17:07:08 发布
最新推荐文章于 2024-12-17 17:07:08 发布
阅读量2.9k 收藏 47
点赞数 17
文章标签： 无人机 人工智能 目标跟踪 目标检测 深度学习 机器人 YOLO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_74169850/article/details/142264810
版权

ROS无人机小车追踪培训

目录

学习流程

第一天：无人机硬件讲解

1.1初步了解

1.2硬件学习

Intel T265

Intel D435i

激光雷达

机架动力套

电机旋转与机身运动关系

MINI HOMER

驱动

第二天：软件仿真

2.1为什么仿真

2.2仿真硬件选择

CPU选择

GPU选择

2.2仿真预装软件与环境

2.3 Prometheus地面站

第三天：自主追踪小车实验仿真复现

第四天：真机部署

知识积累

PX4开源项目

MAVROS协议

SpireCV开源项目

Prometheus开源项目

YOLOv5开源项目

总结

  • 学习流程

  1. 第一天：无人机硬件讲解

1.1初步了解

首先作为项目开发，清晰的开发思路必不可少，那么这次的开发功能即为“如何实现无人机追踪小车”。当我第一次看到这个问题，感觉应该是一项挺复杂的工作，不过不慌，我们先了解瞧瞧，听课看图我还是很在行的。

要实现这项“智能无人机开发”，我们整体可以分为两个部分：

第一个为“基础”部分，起码我们需要一台由飞行控制，机架以及动力系统组成的无人机，同时需具备一台轻量化的机载电脑或者开发好的集成芯片（这种多为成品，功能单一，不适用于开发）。在这里我们使用的是P450无人机，PX4为核心控制软件。

第二个为“高阶”部分，也就是我们开发的重点位置，即实现追踪小车这项智能化的功能。那最起码的开发工具我们不难想到使用ROS（机器人操作系统）开发，也就是现在最普遍的智能机器人开源框架。看到这里大家可能会想到，我直接使用ROS中开源的视觉感知代码，不就能实现识别小车的功能了嘛，再加个跟踪算法搞定啦。没错，我就是这么想的。那么问题来了，无人机在识别到小车之后如何使自身与小车维持特定的距离和角度？在小车移动时又如何判断其运动的方向和距离并改变自身的飞行轨迹？在处理视觉图像时会不会产生由2D到3D转化的误差呢？果然，理想很丰满，现实很骨感呐！带着这些问题，我们继续了解。

那么到这里呢，我们可以看下面这个逻辑图（图1），我们能看到许多专有的名词，没错，我和你们一样，感觉挺清晰，但还是不知道具体都是怎么实现的。因为培训时间有限，老师也只是一笔带过，那现在就是需要我们课下自己来了解了，具体的各名词的个人理解和学习网站我汇总到了第二个大模块（二，知识积累），有颜色标注的名词大家自行选择至下面查阅，大家可以跟着我的节奏，由浅入深，边走边学习。

图1 任务逻辑图

1.2硬件学习

好，在探寻高阶部分前我们先打好基础，先来认识一下我们的研究主体无人机的硬件设备。

在介绍之前，还是先总体了解一下硬件框架来帮助我们记忆。我们可以看图2(硬件框架)，整体可分为两个部分：

图2 硬件框架

第一是传感器设备，或者可以称为外接设备，这一部分就好比人的五大感官，是获取外接信息主要来源。包括摄像头，激光雷达，GPS和加速度计/陀螺仪/磁罗盘等用来获取图像数据，激光点云信息，位置信息和无人机的姿态信息等。

这些信息就传到了第二部分也就是控制系统。例如我们的图像数据和激光点云信息传入机载电脑，利用写好的算法进行路径规划和环境感知。而GPS和无人机的姿态信息数据传入飞控，通过产生EKF滤波和PID控制信号来操控无人机桨叶的电机，产生不同的生力来维持无人机姿态稳定并执行由机载电脑下达的移动命令。

补充一点，机载电脑对飞控下达命令之间是通过MAVROS协议实现的。

接下来是无人机搭载的具体硬件参数介绍，不感兴趣的玩家可以跳过此部分：

Intel T265

是一款由英特尔开发的深度视觉立体相机，它提供了高精度的定位和跟踪功能。以下是际t T265的部分参数：

最大深度范围：0.2m-5m

实时定位与地图构建（SLAM）技术

通过视觉特征和惯性测量单元（IMU）进行位置和姿态跟踪

姿态精度：0.1度

惯性测量单元（IMU）：加速度计、陀螺仪

数据接口：USB 3.1 Gen1 Type-C

使用教程网址：Intel Realsense T265使用教程-优快云博客

Intel D435i

其特点是不仅提供深度传感器模组，还配备了一个IMU单元。RGB-D(红绿蓝-深度)相机是3D相机，其在像素级输出具有颜色和深度信息的图像。

一对立体红外传感器（IRStereo Camera），一个红外激光发射器（IRProjector）和一个彩色相机（RGB传感器）

USB供电;

更大的85度左右的镜头视场(FOV)

摄像机的捕捉最远距离可以达10米

输出1280x720分辨率的深度画面

视频传输方面可以达到90fps

使用指南网址：Intel RealSense D435i 深度相机介绍_realsense d435i介绍-优快云博客

激光雷达

介绍说明书：LDS-50C-2蓝海光电激光雷达使用说明书 V1.4.pdf-原创力文档 (book118.com)

使用说明书：蓝海光电激光雷达说明书.pdf (amovlab.com)

机架动力套

机架动力套定义为：已组装好无人机的机身结构部分，以及电源模块，电机电调模块的套件，被定义为机架动力套。相当于一个无人机的半成品物料，或者是传统的航模。

基础款无大机一机架动力套一（航模)+一控自主无大机＝基础款无人机+机载计算机

这里提供一个徒手组装F450飞行器指南：BetaFlight & BeeRotorF3 四轴飞行器配置F450_f450机架图纸参数-优快云博客

最低0.47元/天 解锁文章
Arrebolᝰ
关注
基于STM32的自动跟踪小车
Tech_Notes
10-16 1万+
概述 小车外形： 功能简介 利用摄像头识别前车尾部的AprilTag，得到前车位置，传回stm32主控板处理，使两车在行驶时保持恒定距离，实现自动跟车。
精彩回顾 | ROS暑期“无人机自主追踪小车”训练营
AMOVLAB(阿木实验室)
08-08 1115
在最终的比赛结果中，第一组凭借最短的用时和创意的修改，成功获得了第一名的好成绩。第六组也凭借其创新性改动赢得了第二名。虽然其他队伍没有进入前两名，但他们在实验中的专注与努力同样值得表扬。每个团队都成功复现了无人机自主追踪小车的任务，展现了出色的技术能力。对于每一位参赛者来说，这次训练营只是他们探索无人机技术的起点。通过此次学习与实践，他们不仅掌握了无人机的基础操作与开发技能，还积累了宝贵的实践经验。未来的道路上，还有更多的创新机会等待着他们去发掘与探索。
图像识别自动跟踪小车设计与实现
stm32d1219的博客
12-17 1215
目录 引言 系统设计 硬件设计 软件设计 图像识别模块 摄像头选择与图像采集 图像处理算法 跟踪算法与运动控制 目标识别与定位 PID控制算法 系统调试与优化 结论与展望 1. 引言 随着人工智能和机器人技术的不断发展，自动化系统逐渐渗透到我们的日常生活中。图像识别自动跟踪小车（以下简称“自动跟踪小车”）作为一个典型的智能机器人应用，能够通过视觉信息实时感知周围环境，识别并跟踪特定目标。它不仅在智能家居、仓储物流等领域具有广泛应用，还在教育和科研中作为机器人入门的
YOLOv5与D435i的强强联合：打造实时三维目标定位新纪元
gitblog_00029的博客
06-13 807
YOLOv5与D435i的强强联合：打造实时三维目标定位新纪元 项目地址:https://gitcode.com/gh_mirrors/yo/yolov5_d435i_detection 项目介绍 在这个数字化转型加速的时代，计算机视觉技术的应用场景日益广泛，从智能监控到自动驾驶，每一步创新都离不开精准的目标检测与定位功能。yolov5_d435i_detection正是这样一个融合了高效深度学习...
ROS系统下gazebo环境中，无人机结合目标跟踪算法（SiamCar），完成对物体的跟踪（可以是小车或者其他的）
m0_73815913的博客
09-19 793
ROS系统下gazebo环境中，无人机结合目标跟踪算法（SiamCar），完成对物体的跟踪（可以是小车或者其他的），然后给出轨迹对比图等评估指标。1.、小车直线运动无人机跟踪，在rviz上显示小车和无人机的运动轨迹（同时保存小车和无人机运动过程中的坐标位置）3、两辆小车（一模一样的），一辆不动，另一辆作直线运动然后无人机跟踪并经过第一辆的旁边，显示轨迹，保存坐标。运行环境：ros （建议Ubuntu18.04+ros melodic）1、四旋翼无人机跟踪小车或其他。提供：源码及技术文档。
超声波自动跟随小车基于arduino
11-08
超声波自动跟随小车基于arduino的源码，与三个超声波接收装置和一个发射装置组成定位功能。
基于单片机的自动跟踪智能小车
04-28
本设计是基于单片机的光动能自动跟踪智能小车，设计新颖，立意标新
树莓派小车物体追踪
12-04
本文讲述如何利用opencv和python实现树莓派小车物体追踪的目标。包含告诉大家如何安装opencv3.0和如何利用它实现我的小车避障以及对应的python程序
智能无人机辅助V2V通信——应用于智慧城市附Matlab代码.rar
最新发布
04-02
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程...
无人机与差速小车协同工作的智能轨迹跟踪系统研究,无人机与差速小车协同轨迹跟踪 ,无人机; 差速小车; 协同控制; 轨迹跟踪; 自主导航,无人机与差速小车协同导航跟踪技术
02-06
无人机与差速小车协同工作的智能轨迹跟踪系统是当前自动化与机器人领域研究的热点之一。该系统结合了无人机的空中观测优势和差速小车的地面移动优势，通过协同控制实现对特定轨迹的精确跟踪。无人机具有良好的机动性...
图像处理matlab道路小车跟踪
01-07
图像处理matlab道路小车跟踪 。
机器人在ros下的KCF跟踪算法实现
10-09
ros下实现跟踪算法--相关滤波跟踪算法KCF，通过kinect获得视频流，跟踪视频中的目标对象
【机器人和人工智能——自主巡航赛项】动手实践篇
2201_75475240的博客
06-13 1957
观看b站视频万创鑫诚，记录并保存其重点信息，仅自用。
人工智能目标跟踪小车
aaalihangkuai的博客
10-06 7872
近年来人工智能技术在语音识别、无人驾驶等领域得到了广泛应用，其本质是让机器通过神经网络对事物进行学习，经过大量数据训练后，机器学会了这些知识。 周末闲来无事，写了一个目标跟踪小车demo，支持人、车、狗等十多种目标，可应用于无人机跟拍、机械手抓取目标、智能化工厂目标分类等领域。 视频地址：http://v.youku.com/v_show/id_XMzA2NzQ5MDcwMA==.html
无人机目标追踪技术
m0_67004565的博客
05-22 967
采用机器学习和深度学习算法，无人机能够识别和分类不同的目标，并对目标进行实时跟踪。这些算法包括但不限于卷积神经网络（CNN）、循环神经网络（RNN）和最近发展的Transformer等。：通过先进的图像处理和计算机视觉算法，无人机能够从传感器获取的原始数据中提取有用的信息，如目标的位置、形状和运动轨迹。：无人机通常配备摄像头、雷达、激光雷达等传感器，用于捕捉目标的图像和距离信息。：无人机的控制系统根据目标的位置和运动状态，动态调整飞行路径，确保持续追踪目标。
Ros小车应用篇(三)——网络摄像头YOLOV3实现小车跟踪目标
zhuchen88988的博客
07-11 6212
YOLO小车跟踪 yolo跟踪代码: 小车博客:https://editor.youkuaiyun.com/md/?articleId=118612242 YOLOv3模型采用opencv dnn方式导入神经网络权重，再使用opencv读取视频流并转换为标准block接口进行前向传播。最后输出结果列表中存在物体质心，物体大小，物体标签置信度等等，将数据提出再进行画框。如果想要追踪目标就在循环中，判断标签是否属于要找的那个标签。 详细opencv实现yoloV3可以看https://www.bilib
无人机多车辆检测与跟踪算法毕业论文【附代码+数据】
坷拉博士
09-27 1279
然而，由于无人机处于高空，摄像头拍摄的车辆目标相对较小，特别是在复杂的交通场景中，传统的检测算法难以准确识别和检测这些小目标车辆。其次，YOLOv8在进行上采样过程中，使用了最近邻插值方法，这容易导致特征图细节和纹理信息的丢失，特别是对于小目标的检测效果不佳。为了解决这一问题，本文通过历史检测值匹配的方法，将前几帧的车辆位置信息与当前帧的其他车辆进行关联，确保即使在短暂的遮挡后，也能恢复正确的跟踪路径。在每一帧中，KF通过对车辆的运动轨迹进行预测，并与下一帧检测到的车辆边界框进行匹配，更新车辆的位置。
使用Minifly打造基于视觉感知的跟踪无人机
aoxiyi0951的博客
08-07 1742
前言：本文介绍一种可行的解决方案来实现基于视觉感知的跟踪无人机。由于本人能力和资源有限，所以在无人机系统的选择上，选用正点原子开发的开源算法无人机Minifly四轴和摄像头。视觉感知模块（目标检测与跟踪）采用OpenCV + MobileNet SSD + KCF。本文已分享经验和记录开发过程为主，推荐使用其他更好的无人机模块和图像识别算法。 知识基础：Linux、Python 3、S...
智能追踪小车
03-28
<think>好的，我现在需要回答用户关于智能追踪小车实现原理、代码和硬件设计的问题。首先，我得仔细看看用户提供的引用内容，确保回答准确可靠。 用户提到了三个引用，都和单片机、寻迹、光敏传感器以及无人机追踪小车有关。引用[1]主要讲单片机的基础知识和自动寻迹设计，引用[2]提到无人机追踪小车的实验，引用[3]则详细介绍了基于光敏电阻和BH1750FVI模块的设计。这些应该是回答的主要依据。 首先，实现原理部分。根据引用[1]和[3]，智能追踪小车通常需要传感器来检测路径或光源，比如红外传感器或光敏电阻。单片机处理这些信号后控制电机转向。需要提到闭环控制系统，可能包括传感器输入、数据处理和电机控制三个部分。引用[3]中的光敏模块和主控芯片是关键。 然后是硬件设计。需要列出主要的组件：单片机（如STM32或Arduino，引用[1]和[3]）、传感器模块（红外、超声波、光敏，引用[1][3]）、电机驱动模块（如L298N，常见于小车项目）、电源模块、车体结构。可能还需要提到扩展模块，比如蓝牙或WiFi，引用[3]提到可扩展性。 代码部分需要示例。根据引用[1]的示例，可能用Arduino代码。代码结构应包括初始化传感器、读取数据、判断方向、控制电机。比如读取光敏电阻值，比较左右传感器的值来决定转向。需要确保代码逻辑清晰，使用PWM控制电机速度，保持追踪。 相关问题部分，用户要求生成相关的问题。需要从实现原理的细节、硬件选型、代码优化、应用场景等方面提问。比如不同传感器的优缺点，提高精度的方法，代码中的PID控制，多场景应用如物流或教育。 需要注意的是，所有行内数学表达式如PWM占空比要用$...$，独立公式如PID公式用$$...$$，但当前内容可能不需要太多数学公式，但如果有的话要正确使用。同时要检查LaTeX语法是否正确，比如变量用斜体。 最后，引用标识要自然地加在引用内容的末尾。例如，提到光敏电阻模块时引用[^3]，提到单片机基础知识引用[^1]，无人机追踪引用[^2]。 现在，组织这些内容，确保结构清晰，分点回答，代码示例用代码块，相关问题列出四个左右。需要避免使用Markdown格式，但用户示例中允许代码块，所以可以保留。同时使用中文，保持口语化，但作为思考过程，不需要太正式。</think>### 智能追踪小车实现方法 #### 一、实现原理 智能追踪小车的核心是通过传感器感知目标（如光线、路径或物体），由单片机处理数据后控制电机运动，形成闭环控制系统[^1][^3]。 1. **目标检测**： - **路径追踪**：使用红外传感器阵列检测地面黑线，通过反射光强度判断路径偏离。 - **光源追踪**：光敏电阻或BH1750FVI模块检测光照强度，比较左右传感器值确定光源方向。 - **物体追踪**：超声波或摄像头识别目标距离/位置（如无人机追踪小车实验[^2]）。 2. **控制逻辑**： - 若左侧传感器信号强，说明目标在左，控制右轮加速或左轮减速，实现转向。 - 采用PID算法动态调节电机转速，提升追踪平滑度[^3]。 #### 二、硬件设计 | 模块 | 功能说明 | |---------------|--------------------------------------------------------------------------| | 主控芯片 | STM32/Arduino，负责传感器数据处理和电机控制 | | 传感器 | 红外对管（寻迹）、光敏电阻（寻光）、超声波模块（避障） | | 电机驱动 | L298N模块驱动直流电机，支持PWM调速 | | 电源 | 锂电池组（7.4V）配合稳压模块（如LM2596） | | 车体结构 | 四轮底盘（带编码器的直流减速电机）或两轮差速+万向轮结构 | #### 三、代码示例（Arduino光源追踪） ```cpp // 定义光敏传感器引脚 #define LEFT_SENSOR A0 #define RIGHT_SENSOR A1 // 定义电机控制引脚 #define MOTOR_L1 5 #define MOTOR_L2 6 #define MOTOR_R1 9 #define MOTOR_R2 10 void setup() { pinMode(LEFT_SENSOR, INPUT); pinMode(RIGHT_SENSOR, INPUT); pinMode(MOTOR_L1, OUTPUT); pinMode(MOTOR_L2, OUTPUT); pinMode(MOTOR_R1, OUTPUT); pinMode(MOTOR_R2, OUTPUT); } void loop() { int left_val = analogRead(LEFT_SENSOR); int right_val = analogRead(RIGHT_SENSOR); if (left_val - right_val > 50) { // 光源偏左 // 左轮后退，右轮前进 analogWrite(MOTOR_L1, 0); analogWrite(MOTOR_L2, 150); analogWrite(MOTOR_R1, 150); analogWrite(MOTOR_R2, 0); } else if (right_val - left_val > 50) { // 光源偏右 // 右轮后退，左轮前进 analogWrite(MOTOR_L1, 150); analogWrite(MOTOR_L2, 0); analogWrite(MOTOR_R1, 0); analogWrite(MOTOR_R2, 150); } else { // 光源居中 // 双轮前进 analogWrite(MOTOR_L1, 200); analogWrite(MOTOR_L2, 0); analogWrite(MOTOR_R1, 200); analogWrite(MOTOR_R2, 0); } delay(50); } ``` #### 四、关键优化方向 1. **传感器融合**：结合红外与超声波传感器，避免环境光干扰。 2. **动态阈值调整**：根据环境光强度自动校准传感器基准值。 3. **运动平滑性**：加入PID控制算法，公式如下： $$u(t) = K_p e(t) + K_i \int_0^t e(\tau)d\tau + K_d \frac{de(t)}{dt}$$ 其中$e(t)$为方向偏差，$u(t)$为电机调速输出。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值