构建CNN框架的主流block(一)——SE和CBAM

SENET是2017年的世界冠军，CBAM是2018年的分类冠军，它和SE一样也是一个模型，现在任何流行网络都可以嵌入这个模块。

博主只是简单的赘述一下这些模块的思想，写一个笔记，做一个 state-of-art 的搬运工, 如有错误请各位大佬指点批评！！！

SE
SE全称Squeeze-and-Excitation，它注重通道信息。

SE的出现是为了解决在卷积池化过程中feature map的不同通道所占的重要性不同带来的损失问题。在传统的卷积池化过程中，默认feature map的每个通道是同等重要的，而在实际的问题中，不同通道的重要性是有差异的，具体问题具体看待。
如上图所示，SE的结构较为清晰，具体的卷积池化过程如下图所示，下图是一个残差块中加入了SE模块的结构。
假设输入的是一个 h * w * c 的 feature map,首先对它进行一个 global average pooling ，由全局池化（池化大小为 h * w）的操作我们可以得到一个 1 * 1 * c 的 feature map ，然后就是两个全连接层，第一个全连接层的神经元个数为 c/16（作者给的参数），这就是一个降维的方法，第二个全连接层又升维到了 C 个神经元个数，这样做的好处是增加了更多的非线性处理过程，可以拟合通道之间复杂的相关性。然后再接一个sigmod层，得到 1 * 1 * c 的 feature mapÿ