＜Learning Spatio-Temporal Transformer for Visual Tracking＞--阅读理解-cvpr2021

摘要

在本文中，我们提出了一种新的跟踪架构，其中的编码器-解码器transformer为关键组件。 编码器对目标对象和搜索区域之间的全局时空特征相关性进行建模，而解码器学习嵌入的查询以预测目标对象的空间位置。 我们的方法将目标跟踪转换为直接边界框预测问题，而无需使用任何建议或预定义锚。 使用编解码器变压器，对象的预测仅使用简单的全卷积网络，该网络可以直接估计对象的拐角。 整个方法是端到端的，不需要任何余弦窗口和边界框平滑之类的后处理步骤，从而大大简化了现有的跟踪管道。 拟议的跟踪器在五个具有挑战性的短期和长期基准测试中实现了最先进的性能，同时以实时速度运行，比Siam R-CNN快6倍[47]。
代码和模型在这里是开源的。

1. Introduction

视觉目标跟踪是计算机视觉中一个基本但具有挑战性的研究主题。 在过去的几年中，基于卷积神经网络，目标跟踪取得了显着进展[25，9，47]。 但是，卷积核并不擅长对图像内容和特征的长期依赖性进行建模，因为它们仅处理空间或时间上的局部邻域。 当前流行的跟踪器，包括离线Siamese跟踪器和在线学习模型，几乎都基于卷积运算[2，37，3，47]。 结果，这些方法仅在对图像内容的局部关系建模时表现良好，但仅限于很难收集到全局信息。 这种缺陷可能会降低处理全局情境信息对于定位目标对象（例如经历大规模变化或频繁进出视图的对象）很重要的场景时模型的能力。

图1：与LaSOT上的最新技术比较[13]。我们以每秒帧数（fps）跟踪速度可视化了成功性能。Ours-ST101和Ours-ST50分别以ResNet-101和ResNet-50为骨干，表明了建议的跟踪器。 彩色效果更好。
通过使用Transformer，在序列建模中解决了远程相互作用的问题[46]。
Transformer在诸如自然语言建模[11，39]和语音识别[34]等任务中获得了巨大的成功。 最近，在判别式计算机视觉模型中使用了变压器，并引起了极大的关注[12、5、35]。 受最近的DEtection TRans-former (DETR)的启发[5]，我们提出了一种新的具有编码器-解码器transformer的端到端跟踪架构，以提高传统卷积模型的性能。
空间和时间信息对于目标跟踪都很重要。 前者包含用于目标定位的对象外观信息，而后者包含跨帧的对象的状态变化。 先前的Siamese跟踪器[25、51、14、6]仅利用空间信息进行跟踪，而在线方法[54、57、9、3]使用历史预测进行模型更新。 尽管成功，但这些方法并未显式地建模时空之间的关系。 在这项工作中，考虑到建模全局依赖项的出色能力，我们求助于转换器将空间和时间信息进行集成，以进行跟踪，生成可区分的时空特征以进行目标定位。
更具体地说，**我们提出了一种基于编码器-解码器Transformer的新型时空架构，**用于视觉跟踪。 新架构包含三个关键组件：编码器en，de解码器和预测pre-head头。
编码器接受初始目标对象，当前图像和动态更新的模板的输入。 编码器中的自注意模块通过它们的功能依赖性来学习输入之间的关系。
由于模板图像在整个视频序列中都会更新，因此编码器可以捕获目标的空间和时间信息。 解码器学习嵌入查询以预测目标对象的空间位置的查询。 基于角点的预测头用于估计当前帧中目标对象的边界框。
同时，学习得分的head去控制动态模板img的更新。
大量实验表明，我们的方法在短期[18，36]和长期跟踪基准[13，22]上都建立了新的最新性能。<