多无人机多目标跟踪Robust Multi-Drone Multi-Target Tracking to Resolve Target Occlusion: A Benchmark

摘要

多无人机多目标跟踪旨在协同检测和跟踪多个无人机中的目标，并关联来自不同无人机的对象身份，从而克服单无人机目标跟踪的缺点。为了解决多无人机多目标跟踪任务中身份关联和目标遮挡的关键挑战，我们收集了一个感知遮挡的多无人机多目标跟踪数据集，称为MDMT。该数据集包含88段视频序列，39,678帧，包括11,454个不同的ID（行人、自行车和汽车）。MDMT数据集包含2,204,620个边界框，其中543,444个边界框包含目标遮挡。我们还设计了一个多设备目标关联评分（MDA），作为评估多设备跟踪中跨视角目标关联能力的标准。此外，我们提出了用于多无人机多目标跟踪任务的多匹配身份认证网络（MIA-Net）。MIA-Net中的局部-全局匹配算法发现了跨无人机目标的拓扑关系，有效解决了跨无人机的关联问题，并通过多无人机视角映射的优势有效补充了被遮挡的目标。在MDMT数据集上的大量实验验证了我们提出的MIA-Net在身份关联和多目标跟踪任务中处理遮挡问题的有效性。

前言

高质量、大规模的数据集在开发基于无人机的先进、高效的目标检测和跟踪算法中起着重要作用。近年来，针对单无人机检测和跟踪收集了许多基准数据集，包括VisDrone、UAV123、UAVDT、DroneCrowd和DroneVehicle。然而，针对使用多架无人机的多目标检测和跟踪的数据集较少。因此，在这项工作中，我们构建了一个多无人机多目标跟踪（MDMT）数据集，结合了无人机和多摄像头多目标跟踪系统的优势。MDMT数据集包含88组视频片段，共计39,678帧高分辨率图像，由两架无人机拍摄。该数据集涵盖多个场景，包括城市道路、郊区道路、停车场等，拍摄时间从白天到晚上不等。在MDMT数据集中，共标注了2,204,620个目标，其中543,444个为被遮挡目标。据我们所知，这是迄今为止最大、最详细注释的多无人机多目标跟踪数据集。

与现有的多摄像头跟踪任务不同，单架无人机捕捉的密集目标具有较高的无人机内相似性，而无人机的高空倾斜视角使得跨无人机的相同目标难以关联。本文提出了多匹配身份认证网络（MIA-Net），使用跟踪与匹配策略，通过协调全局匹配和局部匹配来实现多个无人机之间的目标关联和跟踪。MIA-Net利用多无人机视角的互补信息，在遮挡场景中实现了鲁棒且准确的多目标跟踪。全局匹配利用整个图像的关键点信息进行匹配，而局部匹配通过多个无人机之间目标拓扑网络的映射关系进行匹配，这种方法简单且高效，能够精确匹配来自不同无人机的目标。

本文的主要贡献如下：

1. 我们构建了一个具有遮挡属性的多无人机多目标跟踪数据集，称为MDMT。该数据集是首个且最大的多无人机多目标跟踪数据集，为多无人机多目标检测和跟踪方向的研究人员提供了重要的数据平台。
2. 我们设计了一种新的多设备多目标跟踪评估指标——多设备目标关联评分（MDA），可用于评估多设备系统中目标跟踪方法的关联程度。该评估指标旨在激发研究人员设计更优越、高效的多设备多目标跟踪融合策略。
3. 我们提出了一种基于跟踪与匹配策略的基线方法——多匹配身份认证网络（MIA-Net），用于解决多无人机协同多目标跟踪任务中的目标遮挡问题。我们在MDMT数据集上进行了大量实验，验证了MIA-Net