通道注意力机制、空间注意力机制、混合注意力机制

1. 通道注意力机制

参考文献
阅读了“Squeeze-and-Excitation Networks”这篇论文，但是懂了它的流程原理，但是不知道有什么用，先说说它的流程吧。

上面这是论文中讲到的Squeeze-and-Excitation(挤压-奖励)模块，这个模块有4个关键点，分别是：$F_{tr}、F_{sq}、F_{ex}、F_{scale}$，下面详细来讲他的流程：

1. $F_{tr}$：假设我们的特征图是X，通过$F_{tr}$，将X转换为U，在这个过程中，每个通道进行了卷积以及相关操作（比如偏置和加权等），简单来说这个$F_{tr}$就是可学习的滤波器的一个集合(这里要区别简单的卷积核和滤波器的区别)。论文中给出了这样的数学公式：$u_c=v_c\ast X={\sum }_{s=1}^C{v}_c^s\ast x^s$，其中$V=[v_1,v_2,....,v_C]$表示学习到的滤波器集合，$U=[u_1,u_2,...,u_C]$表示$F_{tr}$的输出(因为这里的通道为C，所以是一个集合的形式)。
2. $F_{sq}$：挤压操作。我们得道的U，对于这个特征图来说，每个