Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification 论文简读

前言

本文用了两个目前多目标跟踪领域最常用的信息：iou信息以及reid外观特征。在此基础上，又引入了一个潜在的可能引起身份转换的遮挡目标switcher来参与亲和计算，从而提高了模型对于身份转换的鲁棒性。

贡献

1. 提出了一个有效的多目标跟踪框架，学习捕获长期和短期线索，并做出自适应决策，进行鲁棒跟踪。
2. 提出了一个具有switcher感知的分类器，在数据关联时，提升了对于身份转换的多目标跟踪鲁棒性。

跟踪流程

1. 初始化跟踪列表以及视频帧数$t=0$。
2. 在$t$帧时，对于目标$X$，利用单目标跟踪器子网络寻找目标$X$的模板$E_X$在下一帧$I_{t+1}$的位置。单目标跟踪子网络输出$E_X$在$I_{t+1}$最有可能的位置$D_{track}$。
3. 对于在$I_{t+1}$帧的检测结果$D_{det}$，它对应的检测图像区域$I_{t+1,D_{det}}$以及目标的历史图像区域{ $I_{t_i}^X$}，$i=1,2,3,...,K$被输入到ReID网络中获取长期ReID特征。
4. 目标的预测位置$D_{track}$、检测结果$D_{det}$以及步骤3中的长期特征被结合为目标的匹配特征。
5. 找到目标的潜在switcher，既可能会引起目标发生身份转换的另一个目标，获取他在当前帧的预测位置以及历史ReID特征，并结合为匹配特征。
6. 一个switcher感知的分类器利用switcher和目标的匹配特征生成目标和检测之间的匹配分数，标志着这个检测结果是否应该与跟踪目标相匹配。对$I_{t+1}$帧的所有检测都进行上述步骤，计算出其与目标之间的匹配分数。更换目标，计算出所有检测和跟踪之间的匹配分数。
7. 利用目标和检测之间的匹配分数建立一个二部图，使用最小成本网络流算法找到匹配结果。
8. 对于匹配的目标，利用匹配的检测更新其跟踪位置。对于未匹配的目标，利用预测结果更新其位置。终止掉那些被认为是丢失或者被遮挡的目标跟踪。对于独立的检测如果其置信分数满足新跟踪的条件，则将其添加到跟踪列表中。
9. 对每一帧重复步骤2-步骤8。

短期线索

如图所示：

1. 跟踪预测采用SiamRPN单目标跟踪器实现。
2. 当前帧目标$X$的模板EXE_X