MOT任务旨在评估视频中的目标边界框和身份信息。大多数方法是选项将那些检测置信度高于某一阈值的边界框进行关联，并且直接丢弃那些由于遮挡等问题产生的低置信度的边界框。这带来了不可忽略的真实物体丢失和碎片轨迹。为此ByteTrack提出了一个考虑所有边界框的关联方法。对于低置信度的边界框，利用他们与之前的轨迹进行之间进行相似度对比，实现恢复真实目标和过滤背景检测。当应用于其他多种不同的追踪器上时，IDF1都有明显的提升。并且该论文也是使得MOT任务中MOTA首次突破了80的。...

本论文作者 提出了一个新颖的端到端的可训练MOT，通过对CenterNet拓展一个SOT分支，和其他分支共同实现追踪。使得MOT任务可以受益于SOT强大的辨别能力。但是不同于已知的SOT方法中的从局部背景辨别目标对象，增加的SOT分支对每个目标在线训练一个单独的SOT模型，以将目标与其周围的目标区分开来，并赋予SOT模型新的判别能力。

MOT通过两个方法来提升追踪表现，一个是基于过去帧的追踪信息来预测当前帧的新位置，另一个是通过产生更加具有辨别性的ID embedding来提升数据关联准确度。本文作者提出了一个通过位置预测和ID关联协同工作的新颖的统一模型。通过注意力模型强化目标预测，提取更加可靠的embedding信息，并且embedding信息也可以反过来增强注意力模型，抑制漂移。如此位置预测和embedding关联可以协同工作。

随着MOT将检测和ReID分支组合在一起，伴随着的优化问题也出现了。为了解决这个问题，作者提出了一个全局上下文分解模块（GCD），用于解耦检测和ReID任务的表示学习，从而达到平衡两个子任务。为了弥补全局信息，作者提出了指导Transformer编码器（GTE）模块组合Transformer和可变性注意力的强大推理能力，作者将方法命名为RelationTrack。

当前单帧输入的追踪器面对遮挡运动模糊等情况下并不可靠，一旦中间目标被误检为背景之类的，则轨迹会中断。为此作者提出了一个re-check模块用来存储误分类的边界框（如虚假背景），通过使用修正互相关层来探索跨帧时序线索和当前候选检测的关系来将过去轨迹传播到当前帧。传播结果会帮助重新加载假背景，从而修复破损轨迹。

最近的工作展示了卷积神经网络同时学习检测和外貌特征的有效性，但是基于卷积的神经网络由于卷积的局部感受野的问题，无法有效的获得时间和空间的长程独立性。为了整合空间特征，作者提出了局部相关模型来建模目标与周围环境之间的拓扑关系模型，提高了模型在拥挤场景下的判别能力。为每个空间位置和其上下文环境建立密集对应，通过自监督学习进行相关向量限制。对于时间背景信息，提出了一个可学习的相关操作建模帧之间在不同层的卷积特征图的匹配，以对齐和传播时间上下文。

Transformer相较于MOT任务的不适应性可能在于边界框的使用，作者这里提出了TransCenter，结合Transformer和基于center的追踪。我们建议在双解码器网络中使用密集query，以便能够可靠地推断目标中心的热图，并通过时间将它们关联起来，取得了新的SORT。

作者提出了一个时空图transformer（STGT）的方法，利用图Transformer去建模目标时间和空间的交互。 通过将追踪到的目标的轨迹看作为一个稀疏赋权图进行有效建模目标间的交互，通过图构建一个空间图Transformer、一个时间Transformer编码层和一个空间图Transformer解码层。通过一个级联关联框架来处理低的分的检测和长程遮挡。

作者为了实现端到端的数据关联，提出了一个基于proposal的可学习框架，将MOT产生的proposal使用图来对其建模得分与轨迹推理。提出了新颖的图聚类方法来减少proposal产生时的计算代价，且保持proposal的质量。并且使用GCN来学习proposal的结构模式，且根据估分进行排序。

CVPR2021刚收录的MOT新作，作为一个Online 的JDT模式的MOT模型TraDeS，首次实现端到端的利用追踪信息来帮助检测。通过一个代价度量表示目标追踪偏移，用作之前目标特征进行传播，来提升当前目标检测和分割的效果。

提出了一个有效联合检测和追踪的JDE范式模型：DEFT；该方法主要依赖一个基于外貌的目标匹配网络。为了利用运动信息，同时加入一个LSTM来进行运动方面的限制。最终实验证明达到了SOTA效果。

目前的MOT的训练时，大对子模型进行单独使用损失函数训练，并没有关联到评价指标例如MOTA，MOTP，一个主要原因还是这些指标不可微分。这里作者提出了一个MOTA和MOTP的微分代理，组合进损失函数中，实现端到端训练MOT模型。提出了深度匈牙利网络（DHN）模型来代替匈牙利匹配算法，实现目标轨迹和GT目标之间的MOTA和MOTP的代理微分计算。

介于MOT对于长程信息的忽视，从而导致难以处理遮挡问题。为此作者提出了一个通过让模型学习自然轨迹分布获得的概率自动回归运动模型为可能轨迹打分。该模型通过轨迹的采样不仅可以添加新轨迹，也可以对由于遮挡失踪很长的目标进行继续追踪。

由于现在的方法大多关注稀疏GT框匹配作为训练对象，忽视了图像上的其他信息，这篇论文采用密集采样实现对比学习。

该方法舍弃了视频数据中的大量标签，选择无标签视频进行一个无监督的ReID网络训练，从而省略了训练时的标签损失。实验中将该网络整合到SORT以及CenterTrack中进行证明了该网络的可行性。

MOT任务中，追踪器的作用就是根据存储的外貌和运动信息来进行匹配追踪和检测之间的特征，实现更新。但是大多数的对于目标的建模都是独立的，缺乏使用全部目标进行联合更新追踪器缓存的能力。作者提出一个新颖的多轨池化来同时考虑所有缓存更新轨迹，并提出了相应的训练策略，达到了实时追踪。

TrackMPNN是使用基于图的数据结构来建模MOT任务的一个online且实时的方法，创造了一种基于动态无向图来表示多个时间步伐上数据关联的框架，和一种能在这些图上进行操作而产生理想关联消息传递图神经网络（GNN）。为效率、实时等计算问题提供了一个解决方案。该框架可以灵活的选择时间窗口大小和训练损失，为基于图的神经网络训练提供了一个框架。

为了平衡速度和精度，联合检测和ReID的one-shot方法越来越引起注视，但是他们之间的区别却又被忽视，从而导致了JDE范式表现不如二阶段的方法。本论文主要剖析了两任务的区别，并且在此基础上提出了一个新颖的交叉相关的网络，来推动独立分支学习任务相关表示。并且引入了一种学习判别性嵌入的尺度感知注意网络，提高了该网络的ReID能力。将他们集成到一个online 的one-shot模型中，成为CSTrack。

论文提出了一个新颖的时域图卷积网络TGCN建模MOT任务，实验证明，TGCN提取的时域姿态特征有助于提高MOT的指标。

传统的DBT范式，追踪效果严重依赖检测器效果，但是另一方面，检测也可以受益于追踪，例如平滑预测。RetinaTrack提出一个联合检测追踪的方法，能够适应实例级嵌入训练。

本文的TransTrack利用了Transformer的思想，提出了一种新的联合检测和追踪的新的模型。

一个整合了所有步骤加入学习网络的离线MOT方法，利用了MPN的方法，进行目标特征的迭代学习和聚合传递。

本文提出了一种多目标跟踪器，它将分配任务描述为一个具有有效解的高阶图匹配问题。该公式可以方便地嵌入运动一致性和空间结构不变性等高阶信息。另外，加入孪生网络，提取基于id mask的特征来表示外貌相似度，并且实验证明使用mask比全局的效果要好。算法的公式实现简洁并且实时运行。

本论文提出了一个目标检测和外貌嵌入可以共享学习的模型。

在原始的SORT的基础上，加入外貌特征，能够实现在长时间遮挡的情况下进行追踪目标，有效减少IDSW。基于原始框架的基础上，将大量的算力花在一个离线的预训练上，使用一个大规模的行人ReID数据集来进行一个深度关联矩阵的学习。在在线应用中，我们利用视觉外观空间中的最近邻居查询建立跟踪关联的测量。

本文提出了一种基于帧间预测和关联的在线跟踪框架。我们表明，跟踪质量高度依赖于检测性能，利用最近的检测的发展，只是使用经典的追踪就可以实现SOTA。

我们提出了一个简单的在线模型，名为链式跟踪器(CTracker)，它自然地将所有三个子任务集成到一个端到端的解决方案中(目前我们知道的第一个)。他将覆盖两对相邻帧的共同帧的共同目标链接起来，从而实现轨迹的配对。成对框的回归由对象注意机制(由检测模块提供)和身份注意机制(由ID分类模块保证)来辅助实现。

图网络的一次实践，提出了一种新的联合MOT方法实例，该方法可以同时优化目标检测和数据关联模块，使用GNN来建模目标间的时空运动特征，学习更有鉴别性的特征，更进一步优化网络。

最新的MOT，在MOTChallenge上达到了SOTA。同时利用了位置和外貌信息进行更新，并且使用LK光流，首次在当前帧预测过去的信息。现在V3版本：Tracklets Predicting Based Adaptive Graph Tracking论文还没看。

CenterTrack阅读心得