【论文阅读】Efficient Visual Tracking via Hierarchical Cross-Attention Transformer

1.本文针对什么问题

针对跟踪器的速度问题，大多数跟踪器只能在专业的gpu达到实时的跟踪速度，特别是基于transformer的跟踪器，需计算速度与输入成平方关系

2.已有的工作是什么，有什么问题

PrDiMP、DiMP等跟踪模型，但是他们只能在高性能GPU上达到实时速度，在一些边缘设备上根本达不到实际应用的需求

3.为了解决这个问题，做了什么工作

首先，设计了一个分层交叉注意力(HCA)’结构来减少串行性，并使用分层连接方式来增强表示能力；

其次，设计了一个特征稀疏化模块来稀疏模板特征并减少transformer的计算数量；

结合上面的设计，形成了一个新的跟踪器，叫HCAT

4.具体方法是什么

分为三个部分：特征提取网络、特征融合网络、预测头

• 特征提取网络

  提取模板特征和搜索区域特征，模板区域是初始框边长的两倍，搜索区域边长是上一帧中目标边长的4倍，然后全部reshape成方形。

  结构类似于Siamese网络，使用的特征提取网络是ResNet18，但是移除了最后一阶段；特征提取完之后使用1x1的卷积层来转换通道维度©到256，并且将所有特征在空间维度(H,W)上拉直；采样率是16，大的采样率能够减少特征的分辨率，减少计算损耗；

• 特征融合网络

  融合模板和搜索区域的特征。由FS模块和分层交叉注意力两个部分组成：

  1） FS模块：如下图所示，稀疏模板特征的向量数量到16(64–>16)，减少计算的数量（多层注意力的计算数量为$2CH<$