2022最新综述｜一文详解多目标跟踪方法最新进展（单帧/多帧/特征/相关性）

点击下方卡片，关注“自动驾驶之心”公众号

 

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心技术交流群

后台回复【MOTE】获取论文！

后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文！

1主要内容

多目标跟踪（MOT）旨在跨视频帧关联目标对象，以获得整个运动轨迹。随着深度神经网络的发展和对智能视频分析需求的增加，MOT在计算机视觉领域的兴趣显著增加。嵌入方法在MOT中的目标位置估计和时间身份关联中起着至关重要的作用，与其他计算机视觉任务（如图像分类、目标检测、重识别和分割）不同，MOT中的嵌入方法有很大的差异，并且从未被系统地分析和总结。本综述首先从七个不同的角度对MOT中的嵌入方法进行了全面概述和深入分析，包括补丁级嵌入、单帧嵌入、跨帧联合嵌入、相关嵌入、顺序嵌入、小轨迹嵌入和跨轨迹关系嵌入。论文进一步总结了现有广泛使用的MOT数据集，并根据其嵌入情况分析了现有最先进方法的优势策略。最后，讨论了一些关键但尚待研究的领域和未来的研究方向。

2领域发展

近年来，多目标跟踪（MOT）得到了广泛的研究，其目的是跨视频帧关联检测到的目标，以获得整个运动轨迹。近年来出现了各种跟踪算法，从图聚类方法[1]、[2]、[3]、[4]到图神经网络[5]、[6]、[7]、[8]，这些算法可以跨帧和对象聚合信息；从按检测模式跟踪[9]、[10]、[11]到联合检测和跟踪[5]、[12]、[13]、[14]、[15]、[16]，以提高多帧的检测性能；从卡尔曼滤波[17]到递归神经网络（RNN）[18]和长短时记忆（LSTM）[19]，以提高与运动线索的关联性能。随着跟踪算法的发展，MOT可以应用于许多任务，例如交通流分析[1]、[20]、[21]、[22]、人类行为预测和姿势估计[23]、[24]、[25]、[26]、自主驾驶辅助[27]、[28]，甚至用于水下动物数量估计[29]、[30]、[31]。

MOT系统的流程主要分为嵌入模型和关联算法两部分。在输入多个连续帧的情况下，通过嵌入技术和关联方法估计目标位置和轨迹标识。由于存在光照变化、遮挡、复杂环境、快速摄像机移动、不可靠检测、不同的低图像分辨率，MOT具有挑战性[32]。

此外，跟踪性能可能会受到跟踪算法各个步骤的影响，如检测、特征提取、相关性估计和关联。这些导致显著的变化和不确定性。随着深度神经网络表示学习的最新进展，嵌入方法在MOT中的目标位置估计和时间身份关联中起着至关重要的作用。在这项调查中，我们更关注嵌入学习的回顾，而不是关联，尽管关联在MOT中也很重要。

3目标跟踪相关工作

三项任务，即单目标跟踪（SOT）、视频目标检测（VOD）和重新识别（re ID），与MOT高度相关。MOT领域的许多嵌入方法都受到这些任务的启发。本节将对这些任务进行简要回顾。

Single Object Tracking

单目标跟踪（SOT），也称为视觉目标跟踪（VOT），旨在当只有目标的初始状态（在视频帧中）可用时，估计未知的视觉目标轨迹[49]。跟踪目标纯粹由第一帧确定，不依赖于任何类别。受ImageNet大规模视觉识别竞赛（ILSVRC）[55]和视觉对象跟踪（VOT）挑战[56]、[57]中深度学习突破[50]、[51]、[52]、[53]、[54]的启发，嵌入学习方法吸引了视觉跟踪界的极大兴趣，以提供鲁棒的跟踪器。许多作品试图通过学习区分性目标表示来进行跟踪，例如学习干扰感知[58]或目标感知特征[59]，利用不同类型的深层特征，如上下文信息[60]、[61]或时间特征/模型[62]、[63]，对低级空间特征的全面探索[64]、[65]，采用相关引导的注意力模块进行开发。

MOT任务中对象的初始状态未知，需要预