莫一丞元

Transformer理解注：这里不涉及具体的矩阵维度。背景Transformer 是 Google Brain团队在 17 年 6 月提出的 NLP 经典之作，由 Ashish Vaswani 等人在 2017 年发表的论文 Attention Is All You Need 中提出。Transformer 在机器翻译任务上的表现超过了 RNN，CNN，只用 encoder-decoder 和 attention 机制就能达到很好的效果，最大的优点是可以高效地并行化。Transformer 的

SENET是2017年的世界冠军，SE全称Squeeze-and-Excitation是一个模块，将现有的网络嵌入SE模块的话，那么该网络就是SENet，它几乎可以嵌入当前流行的任何网络，那么为什么会引出这个东西呢，来看下图：一个feature map经过一系列卷积池化得到的feature map，通常我们认为这个得到的feature map的每个通道都是同样重要的。但实际情况是：我们得到的feature map的每个通道的重要性都不一样，比如一张包含动物的图片，那么背景肯定不怎么重要，它转化为灰度图后

CBAM是2018年的分类冠军，它和SE一样也是一个模型，现在任何流行网络都可以嵌入这个模块，那么它的由来是什么呢？SE的由来是因为不同通道的像素的重要性可能不一样，那么既然这样，同一个通道的不同位置像素重要性也可能不一样，所以就有了CBAM，既考虑不同通道像素的重要性，又考虑了同一通道不同位置像素的重要性Convolutional Block Attention Module(CBAM) 表示卷积模块的注意力机制模块。是一种结合了空间（spatial）和通道（channel）的注意力机制模块。相比于s