NeurIPS24 | 多无人机协作精确预测车辆等目标移动轨迹, Drones Help Drones

论文地址
代码地址

摘要

协作轨迹预测通过多视角互补信息全面地预测物体的未来运动。然而，在多无人机协作环境中，它面临两个主要挑战。首先，广阔的空中观测使得精确生成鸟瞰视图（BEV）表示变得困难。其次，过多的交互会导致无法满足有限的无人机通信带宽要求的实时预测。为了应对这些问题，我们提出了一种新颖的框架，名为“无人机帮助无人机”（DHD）。首先，我们结合无人机倾斜观测所提供的地面先验信息来估计物体与无人机之间的距离，从而生成更加精确的BEV表示。其次，我们设计了一种基于局部特征差异的选择机制，在无人机之间的交互过程中优先传递对预测任务有关键作用的信息。此外，我们创建了第一个多无人机协作预测数据集，名为“Air-Co-Pred”，并通过定量和定性实验验证了DHD框架的有效性。实验结果表明，与最先进的算法相比，DHD在BEV表示中的位置偏差减少了超过20%，并且在交互时所需的传输比率仅为四分之一，同时实现了相当的预测性能。此外，DHD还在协作三维物体检测任务（CoPerception-UAVs）中展示了良好的泛化能力。

前言

多无人机物体轨迹预测[1–3]旨在通过多个具有重叠观测的无人机协同识别物体并预测其未来运动，这可以克服单个无人机在遮挡、模糊和远程观测方面的局限性。鉴于任务执行的安全性和可靠性，多无人机物体轨迹预测在无人机操作中的作用不可或缺。它有助于潜在事故的早期预警和路径规划，更好地为智能城市[4]、交通[5]、空中监控[6]和响应系统[7]提供服务。当前的协同物体轨迹预测方法主要分为两种框架：多阶段预测[8, 9]和端到端预测[10, 11]。多阶段框架通过各自的感知结果实现协同预测。具体而言，它从每个视角的物体检测开始，如定向物体检测[12]。然后，多个视角下的物体进行关联，生成的轨迹输入回归模型进行预测。相比之下，端到端方法将每个视角的2D特征转换为统一3D坐标系下的BEV特征，并进行特征级别的关联。为了应对视角转换的挑战，我们观察到无人机的倾斜观测导致了视线与地面平面的交集。因此，这一几何属性为每个像素分配了一个理论最大深度，为深度估计提供了约束。此外，考虑到物体与地面平面之间的明显差距，推导复杂的深度估计可以通过更简单的高度估计来实现。对于协同策略的设计，我们主张灵活的协同策略应该根据模型反馈动态评估每个区域对下游任务贡献的信息量。这种自适应方法确保了对环境的全面理解，涵盖了前景物体及其更广泛的环境，从而促进更准确的协同轨迹预测决策。

基于上述解决方案，本研究提出了一种名为DHD的无人机协同预测框架，该框架由基于地面先验的BEV生成（GBG）模块和通过滑动窗口的稀疏交互（SISW）模块组成。GBG模块通过相机的内外参数计算每个像素的视角。随后，基于飞行高度，该模块确定每个像素的理论最大深度。在视角和最大深度信息的引导下，相对简单的高度估计可以推导出更精确的深度，从而实现更准确的BEV表示。SISW模块通过滑动窗口分析中心特征与周围特征之间的差异，从而量化每个位置的信息量。具有显著特征变化的区域被分配较高的信息评分，表明它们包含物体或关键环境信息。此外，由于缺乏多无人机协同预测的相关数据集，本研究利用CARLA [15]仿真平台生成了一个新的数据集“Air-Co-Pred”，该数据集包含四架无人机在200个不同场景下的协同观测。这个模拟数据集用于验证我们提出的DHD框架在空中协作中的有效性。

随后，未来的实例分割和运动将被共同预测。与多阶段的检测-跟踪-预测管道相比，端到端框架显著提高了精度和计算效率，因此得到了广泛的应用。然而，端到端方法主要是为自动驾驶场景设计的，可能不直接适用于空中视角。具体而言，它们采用了流行的“Lift-Splat-Shoot”（LSS）[13]方法来预测像素级的类别深度分布，并利用相机的内外参数重建物体在3D空间中的分布。在空中环境中，观测距离显著更大，如图1所示。这个扩展的观测范围增加了深度类别，并对视角转换提出了巨大的挑战。关键是，错误的特征投影会扭曲BEV表示，严重削弱后续多无人机协作的可靠性。此外，高效的交互对于实时协同预测至关重要。流行的稀疏协同策略，如where2comm [14]，利用下游检测头进行信息选择。然而，这种模式缺乏灵活性，忽视了物体信息之外的有价值的上下文线索，而这些同样对于运动预测至关重要。

总结来说，我们的贡献