20、深度注意力聚合网络与双目视觉在相关领域的应用

深度注意力聚合网络与双目视觉在相关领域的应用

1. 深度注意力聚合网络

深度注意力聚合网络（Deep Attention Aggregation Network）主要用于动作检测，它利用注意力机制自适应地调节深度卷积网络各层的特征。

1.1 空间注意力模块

空间注意力模块通过以下步骤生成空间注意力掩码：
1. 首先，将输入特征图在空间维度上进行重塑，得到特征图 $F_r \in R^{HW \times C}$。
2. 对 $F_r$ 乘以一个缩放值后，使用 softmax 函数在空间维度上对其进行正则化，将其作为查询（query）。
3. 同时，将 $F_r$ 作为键（key）和值（value）。
4. 将查询和键相乘后，再次使用 softmax 函数在空间维度上进行正则化，得到空间注意力掩码。
5. 最后，将空间注意力掩码与 $F_r$ 相乘并重塑为 $C \times H \times W$，得到空间注意力调制的特征图。

其公式为：
$\sum_{i=1}^{HW} \sum_{j=1}^{HW} c (x_i, x_j) = softmax(F_r \times scale) \times F_r^T$

空间注意力模块由查询分支、键分支和值分支三个分支构成。

1.2 残差通道 - 空间注意力模块

考虑到通道注意力和空间注意力之间的关系，构建了三种不同类型的残差通道 - 空间注意力模块，分别将通道注意力模块和空间注意力模块按顺序或并行放置。
输入特征图先分别通过通道注意力模块和空间注意力模块，得到通道注意力掩码和空间注