【深度学习注意力机制系列】—— SCSE注意力机制（附pytorch实现）

卖报的大地主

已于 2024-04-15 16:44:58 修改

阅读量8.7k

点赞数 13

分类专栏：深度学习 # PyTorch 文章标签：深度学习 pytorch 人工智能

于 2023-08-09 13:56:48 首次发布

本文链接：https://blog.youkuaiyun.com/qq_43456016/article/details/132186624

版权

深度学习同时被 2 个专栏收录

54 篇文章

订阅专栏

PyTorch

26 篇文章

订阅专栏

SCSE注意力模块（来自论文[1803.02579] Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks (arxiv.org)）。其对SE注意力模块进行了改进，提出了cSE、sSE、scSE三个模块变体，这些模块可以增强有意义的特征，抑制无用特征。今天我们就分别讲解一下这三个注意力模块。

1、cSE模块（通道维度的SE注意力机制）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SMHvhcuu-1691560496641)(E:\学习笔记\深度学习笔记\深度学习基础知识\注意力机制\SCSE.assets\image-20230809131542884.png)]$

cSE模块引入了通道注意力机制，可有效的对通道维度的特征信息进行整合增强，这一点与SE等传统通道注意力机制近似，其最大不同的是其对得到的注意力权重进行了降维再升维的操作，类似与resnet中的瓶颈结构以及Fast RCNN目标检测网络最后的全连接加速层，这种操作方式有些奇异值分解的意思，在深度学习模型中十分常见，可有效的整合通道信息，并且简化模块复杂度，减小模型计算量，提升计算速度。

实现机制：

将特征图通过全局平均池化层将维度从[C, H, W]变为[C, 1, 1]。
然后使用两个1×1卷积进行信息的处理（即降维与升维操作），最终得到C维的向量。
然后使用sigmoid函数进行归一化，得到对应的权重向量文件。
最后通过channel-wise与原始特征图相乘，得到经过通道信息真个校准过的特征图。

代码实现：

class CSE(nn.Module):
    def __init__(self, in_channels, reduction=16):
        super(CSE, self).__init__()
        self.cSE = nn.Sequential(
            nn.AdaptiveAvgPool2d(1),
            nn.Conv2d(in_channels, in_channels // reduction, 1),
            nn.ReLU(inplace=True),
            nn.Conv2d(in_channels // reduction, in_channels, 1),
            nn.Sigmoid(),
        )
   
    def forward(self, x):
        return x * self.cSE(x)

2、sSE模块（空间维度的SE注意力机制）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xWAJQhNS-1691560496643)(E:\学习笔记\深度学习笔记\深度学习基础知识\注意力机制\SCSE.assets\image-20230809131552369.png)]$

sSE模块在特征图的空间维度展开信息增强整合，同通道维度一样，其也是通过先提取权重信息，再将权重信息同原始特征图相乘得到注意力增强效果，不过在提取权重信息时是在空间维度展开，不再是使用全局平均池化层，而是使用输出通道为1，卷积核大小为1×1 的卷积层，进行信息整合。

这里我们顺便简介一下1×1卷积层的作用：

① 改变通道数（即升维降维）

② 信息整合（可实现跨通道的信息交互）

③ 增加非线性（基于奇异值分解，结合非线性激活函数，加深模型）

实现机制：

将特征图通过一个输出通道为1，卷积核大小为1×1 的卷积层，得到一个维度为（1, H, W）的权重矩阵。
将权重矩阵进行sigmod归一化处理，得到最终的权重矩阵。
将权重矩阵同原始特征图在空间维度相乘，得到最终空间信息增强特征图结果。

代码实现：

class SSE(nn.Module):
    def __init__(self, in_channels):
        super(SSE, self).__init__()
        self.sSE = nn.Sequential(nn.Conv2d(in_channels, 1, 1), nn.Sigmoid())

    def forward(self, x):
        return x * self.sSE(x)

3、scSE模块（混合维度的SE注意力机制）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o7I26uui-1691560496643)(E:\学习笔记\深度学习笔记\深度学习基础知识\注意力机制\SCSE.assets\image-20230809131630998.png)]$

scSE模块是sSE模块和cSE模块的综合体，即同时对空间维度和通道维度进行信息整合增强，将两者的特征结果沿着通道维度进行相加（结果和原始特征图维度相同）。

实现机制：

将特征图通过cSE模块，得到特征图结果1。
将特征图通过sSE模块，得到特征图结果2.
将特征图结果1和2沿着通道维度相加，得到最终信息校正结果（前后特征图维度不变）。

代码实现：

class SCSE(nn.Module):
    def __init__(self, in_channels, reduction=16):
        super(SCSE, self).__init__()
        self.cSE = nn.Sequential(
            nn.AdaptiveAvgPool2d(1),
            nn.Conv2d(in_channels, in_channels // reduction, 1),
            nn.ReLU(inplace=True),
            nn.Conv2d(in_channels // reduction, in_channels, 1),
            nn.Sigmoid(),
        )
        self.sSE = nn.Sequential(nn.Conv2d(in_channels, 1, 1), nn.Sigmoid())

    def forward(self, x):
        return x * self.cSE(x) + x * self.sSE(x)