Online Multi-Object Tracking with Dual Matching Attention Networks论文简读

前言

该论文提出了一种利用时空注意力机制计算检测和跟踪之间亲和度用于数据关联的在线多目标跟踪方法。
在多目标跟踪的数据关联过程中，由于给定的检测存在对准误差或者部分丢失，视频中的目标之间存在相互遮挡，两张图像之间只有部分区域能够匹配上，在计算亲和度时，提高输入的图像对中匹配部分的比重能够增强模型的判别能力，因此作者在计算输入图像对的特征表示时，采用了空间注意力机制强调了图像对中匹配上的部分权重。在计算亲和度时，由于在跟踪轨迹中存在错误检测，采用平均池化得到的特征表示与真实特征表示存在差异，会导致无法有效衡量目标与检测之间的相似度，因此作者提出利用时间注意力机制来自适应地权衡跟踪轨迹中不同样本的权重，以获得更接近真实目标的特征表示，得到更准确的目标与检测之间的相似度。

贡献

1. 提出了一个空间注意力网络来处理多目标跟踪中的噪声检测和阻塞。当对比两个图像的时候，提出的网络能够基于图像对的每一个位置之间的交叉相似度生成对偶空间注意力映射， 让模型关注于图像对之间的匹配区域。
2. 设计了一个时间注意力网络自适应地对轨迹中的不同观测分配不同程度的注意力。这个模块不仅考虑了检测和轨迹中观测的相似度，也考虑了所有观测的连续性来过滤掉轨迹中的不可靠样本。
3. 在多目标高跟踪中应用单目标跟踪并引入了一个新奇的基于最先进的跟踪器的成本敏感损失。这个提出的损失让跟踪器能够集中在困难样本稀疏集上进行训练，强化了在多目标跟踪场景中模型对干扰目标的鲁棒性。
4. 在多目标基准数据集上，针对最先进的多目标跟踪方法执行了大量的实验和消融研究来证明了提出的算法的有效性。

跟踪流程

1. 给定检测和跟踪，首先利用单目标跟踪器对标记为跟踪的目标在当前帧的位置进行预测，得到其在当前帧的位置和跟踪得分$s$。然后我们计算该目标在前$l$帧的匹配得分$o(t_l,D_l)$，其中当跟踪目标$t_l\in T_l$与第$l$帧的检测$D_l$之间的最大重叠率大于超过0.5时，$o(t_l,D_l)$被设置为1，否则为0。我们计算前$L$帧匹配得分{ o(tl,Dl)}1L\{o(t_l, D_l)\}_1^L{ o(tl​,Dl​)}1L​的均值$o_{mean}$作为另一个衡量该目标跟踪是否可靠的一个依据。利用下面的公式来更新目标的状态：$$state=\{\begin{array}{rlrl}& tracked,& & ifs>{\tau }_{s}and{o}_{mean}>{\tau }_o,\\ & lost,& & otherwise\end{array}$$
2. 对于被标记为跟踪的目标，利用预测位置更新其位置。对于被标记为丢失的目标，首先保持其在最新的$k-1$帧的边界框的尺度大小，然后使用一个线性运动模型来预测其在当前帧$k$的位置。将$c_{k-1}=[x_{k-1},y_{k-1}]$表示为目标在$k-1$帧的中心坐标，目标在$k-1$帧的速度如下计算：$$v_{k-1}=\frac{1}{K}(c_{k-1}-c_{}$$