2、基于双层注意力的目标跟踪算法

基于双层注意力的目标跟踪算法

1 算法框架概述

提出的目标跟踪算法框架主要由特征提取骨干网络、特征融合模型和预测头三部分组成，其中特征融合模型基于双层注意力构建。

1.1 特征提取网络

使用修改后的 Swin - Transformer 进行特征提取。为减少计算量，移除了 Swin - Transformer 的最后一个阶段，并将第三阶段的输出作为最终输出，步长 s = 16。该网络处理模板和搜索区域，得到特征图 $F_z \in R^{C×H×W}$ 和 $F_x \in R^{C×H×W}$，其中 $H = H_0/16$，$W = W_0/16$，$C = 384$。

1.2 特征融合网络

设计了基于双层注意力的特征融合网络，以实现特征表示的有效增强和融合。具体步骤如下：
1. 使用 1×1 卷积降低特征的通道维度，然后在空间维度上展平特征，得到长度为 d（d = 256）的特征向量集 $f_z \in R^{d×H×W}$ 和 $f_x \in R^{d×H×W}$。
2. 特征向量序列作为模板分支和搜索分支的输入。双层注意力自增强（DSA）模块通过双层注意力自适应关注有用的语义上下文信息来增强特征。双层注意力交叉融合（DCF）模块接收两个分支的特征，通过双层注意力完成两个特征图的信息传播和融合增强，然后解码出特征图 $f \in R^{d×H×W}$。DSA 和 DCF 各重复 N 次（这里 N = 6）。

1.2.1 双层注意力

双层注意力结构由外层注意力和内层注意力组成，具体过程如下：
1. 模板或搜索区域的特征向量作为外层注意力的查询 $Q_o