实时检测遥感无人机综述：Real-Time Object Detection Based on UAV Remote Sensing: A Systematic Literature Review -优快云博客

基于无人机遥感的实时目标检测在不同场景中有着广泛的需求。近20年来，随着无人机、遥感技术、深度学习技术、边缘计算技术的发展，不同领域的无人机实时目标检测研究变得越来越重要。然而，由于实时无人机目标检测是一项涉及硬件、算法和其他组件的综合任务，因此实时目标检测的完整实现经常被忽视。虽然基于无人机遥感的实时目标检测已有大量文献，但很少有人关注其工作流程。

本文旨在从应用场景、硬件选择、实时检测范式、检测算法及其优化技术、评估指标等方面系统回顾以往无人机实时目标检测的研究。通过视觉和叙事分析，结论涵盖了所有提出的研究问题。

实时物体检测在应急救援、精准农业等场景需求更大。多旋翼无人机和RGB图像在应用中更受关注，实时检测主要使用具有文档化处理策略的边缘计算。基于GPU的边缘计算平台应用广泛，实时检测首选深度学习算法。

同时，优化算法需要专注于资源受限的计算平台部署，如轻量级卷积层等。除了准确性，速度、时延和能量也是同样重要的评估指标。

最后，本文深入讨论了传感器、边缘计算和算法相关的轻量级技术在实时目标检测中的挑战。它还讨论了自主无人机和通信的未来发展对无人机实时目标检测的预期影响。

介绍

该综述的介绍部分首先指出了无人机（UAV）技术在多个领域的迅速发展和广泛应用，尤其是在遥感（remote sensing）领域。它强调了无人机相比传统遥感平台（如卫星和有人驾驶飞机）的优势，包括灵活性、低成本和高分辨率。

研究背景与动机

实时性的重要性：文章指出，在许多关键应用场景中（如灾害响应、交通监控和农业），需要实时（real-time）获取和处理数据以进行及时决策。这使得基于无人机遥感的实时目标检测成为一个重要的研究方向。
边缘计算的兴起：为了克服传统云计算模式下数据传输延迟和隐私问题，**边缘计算（edge computing）**被视为一种理想的解决方案，它将计算任务从云端转移到无人机或地面站等更靠近数据源的设备上。
技术挑战：虽然深度学习在目标检测领域取得了巨大成功，但由于无人机平台固有的挑战（如有限的计算资源、严格的功耗限制和多变的环境条件），直接应用这些算法会面临性能瓶颈。

问题讨论

一些文献对于rtdetr的运用，但无人机rtdetr还需要解决硬件部署问题，应该将新技术应用于无人机的目标检测。

应用方向：搜救场景，精准农业，应急响应，安全侦察和监视。

开发用于实时分析数据的自主无人机是无人机数据处理的新兴趋势[4]。与人工后处理相比，用户的需求在不断进化，导致很多无人机遥感应用对实时图像检测有很高的需求。例如，在搜救场景中，将实时物体检测集成到基于无人机的紧急预警系统中可以帮助救援人员更好地应对这种情况[17]。在精准农业中，在船上实时生成杂草地图对于杂草控制任务至关重要，可以减少图像收集和除草剂处理之间的时间差距[18]。之前的几篇综述也强调了实时目标检测的重要性。例如，应急响应可以通过实时物体检测来支持[7]，人们也需要无人机实时物体检测来进行安全侦察和监视[19]。然而，这些文章中的大多数只考虑和解决了实时目标检测的算法因素，而忽略了如何在无人机上部署算法[20]。在以往的研究中，在开发完整的工作流程时没有充分考虑的其他无人机实时物体检测组件，包括基于嵌入式系统的软件和硬件技术，还需要进一步研究[10]。一篇综述[21]研究了实时物体检测的硬件、算法和范例，但仅限于精准农业。另一篇综述[22]为实时无人机应用以及相关数据集提供了一个很好的总结和分类方法。然而，没有进一步讨论如何实现基于无人机的实时目标检测。从技术角度来看，性能更好的小型化硬件和深度学习算法的激增都对无人机遥感数据处理产生积极影响[4]。这些新技术如何应用于无人机实时目标检测任务，值得回顾和研究。

无人机遥感中实时目标检测任务的完整工作流程：

图1所示的完整工作流程包括五个步骤。

出发点来自于不同应用场景下对特定任务的实时性要求。

1.因此，确定目标和任务场景对于选择无人机、传感器和算法至关重要。

2.然后，在数据采集阶段，根据任务的需要，为选定的无人机配备不同的传感器来完成数据采集。

3.遥感数据需要实时处理，因此计算平台的选择对于机载处理至关重要。所选择的计算平台需要建立用于实现实时对象检测的计算范式。

4.同时，在目标检测阶段，核心检测算法也需要部署在平台上。

5.通信方法的选择决定了数据和结果在工作流中的传输方式。

图1中的闭环可以用来描述完成的无人机实时物体检测的自主工作流程。

根据研究目标，本次综述研究将重点研究基于遥感技术的高级实时目标检测，包括应用场景、硬件选型、算法设计、实现方法。

本文的研究问题相应提出如下。

RQ1. 基于无人机遥感的实时物体检测有哪些应用场景和任务？

该文献综述涵盖了实时对象检测场景、目标和任务分类的范围，如图5所示。

基于无人机遥感的实时物体检测应用场景和任务主要包括以下七类：

应急场景：主要检测目标包括人类、自然灾害和异常人群事件，需要快速响应以避免人员伤亡。此外，还包括对车辆和船只的检测，以应对危险情况。
农业场景：用于精准农业，快速准确地检测农作物胁迫，如病虫害和杂草，以减少农药使用和促进可持续农业。还用于农作物和树木监测、树冠识别以及通过计数进行产量估算。
交通场景：主要检测目标是车辆。应用包括交通流量分析，以实时获取车速和交通密度，以及区分不同类型的车辆。
检查场景：用于检测电力设施部件以及桥梁和建筑物的表面裂缝。
飞行场景：用于确保无人机飞行安全，通过调查周围目标（如其他无人机）或进行无人机飞行测试。
环境场景：用于实时检测海洋塑料等目标，以便及时干预。
军事场景

RQ2. 哪些类型的无人机平台和传感器用于不同的实时物体检测应用？

通过排除没有指定无人机类型的研究，我们对不同实时物体检测场景中使用的无人机分类进行了统计。结果如图6a所示。

图6.（a）无人机的类型和（b）在不同实时物体检测场景中使用的传感器的类型，来自选定的77份出版物。

无人机平台：在研究中，多旋翼无人机由于其悬停能力而被最常使用。
传感器：最常用的传感器类型是 RGB 传感器，用于获取图像。此外，也有研究使用多光谱、高光谱和热传感器，以及 RGB 和热传感器的组合。

RQ3. 基于无人机遥感的实时目标检测使用了哪些类型的范例？

图7.（a）云计算、（b）具有远程处理的边缘计算和（c）具有板载处理的边缘计算的范式。大多数实时目标检测研究（n=72）选择了边缘计算范式，4项研究报告了使用嵌入式系统。同时，只有一项研究选择了云计算解决方案。

大多数实时检测研究采用边缘计算 范例。使用机载处理策略的研究数量远多于使用计算卸载策略的研究。

RQ4. 有哪些常用的计算平台可以支持基于边缘计算的无人机遥感实时检测？

表4列出了所选文献中边缘计算应用中常用的三种典型的基于GPU的计算平台。

表4.常用的基于GPU的计算平台示例列表。表中符号“+”的数量表示性能水平，“+”越多表示性能越强。中央处理器（CPU）、图形处理器（GPU）、内存、功耗和AI性能的关键参数进行了比较。还列出了这些计算平台的价格进行比较。还列出了一些典型研究在所选文献中的应用。

基于 GPU 的边缘计算平台 被广泛用于完成实时物体检测任务。此外，根据不同需求，也有研究使用 CPU、VPU、TPU 和 FPGA 。例如，树莓派系列（CPU 平台）虽然常用于基准测试，但在某些研究中也被用作核心计算平台。

RQ5. 基于无人机遥感的实时检测使用了哪些算法？

图8.不同实时检测算法的分类。树形图显示了每个类别中的具体算法以及使用次数。

深度学习算法因其在图像检测任务中的广泛应用，已成为实时物体检测的首选。此外，该综述也提及了传统方法和机器学习方法，如支持向量机（SVM）算法。所谓的“传统方法”主要是指基于数字图像处理技术并分析诸如目标对象的形态和颜色的特征的方法。

RQ6. 无人机遥感实时检测算法采用了哪些改进方法？

图9.实时无人机检测算法改进方法的使用次数。

为优化算法以更好地部署在资源有限的计算平台上，研究中常用的改进方法包括：

网络剪枝：该技术可以移除网络和参数的冗余，减少计算量，同时对精度影响不大。
量化：通过降低数值精度来压缩神经网络，可以加速推理速度。
轻量化网络设计：采用紧凑的网络作为初始模型。
低秩分解 和 知识蒸馏 。

RQ7. 我们如何评估基于无人机遥感的实时检测的准确性、速度和能耗？

“Figure 10. 图10.使用不同准确性指标的研究数量。” (Cao 等, 2023, p. 16)

图11.检测速度区间分布。

评估基于无人机遥感的实时检测时，除了准确性和速度，延迟和能耗同样重要。

准确性：虽然准确率（accuracy）被广泛使用，但该指标因无法反映真阳性比例而受到批评。因此，通常还会使用精度（precision）、召回率（recall）、F-score 和 mAP 等指标来更好地评估模型性能。
速度：检测速度通常以每秒帧数（FPS）衡量，多数应用集中在 1 到 30 FPS 的范围内，这通常被认为满足大多数场景的实时处理需求。
能耗：有研究建立了能耗模型，以估算整个实时物体检测任务的总能耗。

这七个拟议RQ的制定基于概念图中概述的前四个阶段。

必须认识到快速响应是整个工作流程中的一个关键阶段。该阶段用作处理实时检测输出的后续动作。因此，最后阶段的探索将扩展到深入研究获得自主无人机能力的未来前景，如第5节所述。

主要发现与讨论

数据可用性和挑战：尽管深度学习在目标检测方面取得了显著进展，但基于无人机遥感的目标检测仍然面临挑战。主要原因是缺乏公开、多样且高质量的无人机遥感数据集。现有的数据集大多只包含少数类别，且主要在良好天气条件下收集，这限制了算法在真实复杂环境（如恶劣天气、不同光照条件）下的泛化能力。
计算平台的选择：研究表明，边缘计算范式是实现实时检测的主流选择。大多数研究倾向于使用GPU作为主要计算平台，因为其在性能上表现出色。然而，随着边缘计算技术的进步，未来的研究可能会更多地探索功耗更低的VPU、TPU和FPGA等平台，以满足对能效更苛刻的应用需求。
算法改进方向：为了在资源受限的边缘设备上实现实时性，研究者主要采用了网络剪枝和量化等方法来压缩模型，减少计算量。此外，轻量化网络设计也是一个重要的研究方向。
多源数据融合：虽然目前大多数研究使用RGB图像，但未来的发展趋势是融合多源数据，如结合RGB与热红外、多光谱或高光谱数据，以提高检测的鲁棒性和准确性，特别是在夜间或复杂背景下。

结论与未来展望

综述最后总结了当前研究的现状，并对未来的发展提出了以下展望：

多模态数据融合：未来研究应更侧重于将来自不同传感器（如RGB、热红外、多光谱等）的数据进行有效融合，以增强检测算法在复杂环境中的表现。
异构计算平台上的部署：随着边缘计算设备多样化，需要探索在不同硬件（如VPU、TPU、FPGA）上高效部署模型的方法，以平衡性能、功耗和成本。
可解释性和数据隐私：未来的研究不仅要关注性能，还应考虑模型的可解释性以及数据隐私问题，特别是在需要处理敏感信息（如人脸）的应用中。
创建大规模、多样化的数据集：为了推动该领域的进步，迫切需要建立更大型、更具多样性的公共数据集，包含更多目标类别和更广泛的环境条件（如不同天气、光照和背景）。
5G/6G技术集成：将无人机与5G/6G通信技术相结合，可以实现更高效的数据传输和云计算卸载，从而为实时检测提供更强的计算支持。
软件开发工具：需要更多简单易用、兼容性强的软件工具，以帮助研究者和开发者快速实现和部署无人机实时检测系统。

文献收集方法

该综述采用**系统文献综述（Systematic Literature Review, SLR）**方法，以确保收集过程的全面性、可追溯性和可重复性。其核心步骤包括：

制定综述协议：首先，作者制定了详细的综述协议，旨在回答关于无人机遥感实时目标检测的七个研究问题。
确定主要关键词：为进行文献检索，作者选定了以下核心关键词，并以“与”（AND）和“或”（OR）逻辑组合使用：
- 无人机/遥感相关：UAV、drone、unmanned aerial vehicle、unmanned aircraft、aerial remote sensing、aerial image、airborne image。
- 实时检测相关：real-time、fast、high-speed、on-board、edge computing、on-device。
- 目标检测相关：object detection、target detection。
- 应用场景相关：precision agriculture、traffic analysis、infrastructure inspection。
选定数据库：作者在多个领先的学术数据库中进行了检索，包括：
- Web of Science
- Scopus
- IEEE Xplore
- ACM Digital Library
- MDPI（特别提到该出版社的期刊Drones，因为该期刊的文献与综述主题高度相关）
筛选文献：通过以下严格的纳入和排除标准对检索结果进行筛选：
- 纳入标准：
  - 必须是同行评审的期刊文章或会议论文。
  - 文献主题必须直接涉及基于无人机遥感的实时目标检测。
  - 文献内容必须提供可量化的实验结果，例如速度（FPS）和准确性（mAP）。
- 排除标准：
  - 文献主题与实时目标检测不直接相关。
  - 文献类型非期刊文章或会议论文，如书籍章节或白皮书。
  - 没有提供可量化性能结果的文献。
数据提取与分析：在筛选出最终的文献集合后，作者从每篇文献中提取相关数据，并对其进行系统分析，以回答预设的七个研究问题。