residual attention network 论文解读

论文下载链接：https://arxiv.org/abs/1704.06904

github代码下载链接caffe：https://github.com/fwang91/residual-attention-network

摘要简介

在本篇论文中，提出了Residual attention network,该网络利用attention机制（可以将该结构使用到现有的端到端的卷积网络中），Residual attention network网络采样将attention结构堆叠的方法来改变特征的attention。并且随着网络的加深，attention module会做适应性的改变，在每一个attention modual中，采用上采样和下采样结构，另外作者提出了attention residual learning去训练更深的网络。

【文章的主要创新点】

1. stacked network structure：通过堆叠多个attention modules来构建residual attention network，这点跟其他的深度网络很像的。
2. attention residual learning:如果仅仅是堆叠attention modules，很明显会使得模型的精度降低，所以作者提出了learning的思想，来优化residual attention network
3. bottom-up top-down feedforward attention: bottom-up top-down就是FCN中的特征图先变小，然后通过上采样将图像变大的方法，作者利用这种方法将特征权重添加到特征图上

下面简要介绍一下这篇文章

先抛一张attention结构图

根据上图结构可知，作者将每个Attention Module分成2个分支，分别为mask branch（attention部分）以及trunk banch（原始部分），attention的输出利用公式代表如下,其中T代表trunk banch，M代表mask branch，公式很清晰。

$$H_{i,c}$$