对SE_ResNet的理解

最新推荐文章于 2025-03-31 23:58:51 发布

猫猫与橙子

最新推荐文章于 2025-03-31 23:58:51 发布

阅读量2w

点赞数 5

分类专栏：深度学习计算机视觉的注意力机制文章标签： SE_resnet pytorch

本文链接：https://blog.youkuaiyun.com/qq_22764813/article/details/95051082

版权

作者在使用InsightFace_Pytorch-master工程时用到SE_ResNet50，进而分析其网络结构。介绍了SE模块，它考虑模型通道间相互依赖性，可嵌入多种网络结构，如Inception、ResNet等，还能构造不同种类的SENet。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在使用InsightFace_Pytorch-master pytorch工程，然后有使用到SE_ResNet50，所以想要分析相应的网络结构（包括网络层名和读取对应层相应参数）

了解什么叫做SE模块？

SE是Squeeze-and-Excitation(SE)的缩写,该模块的提出主要是考虑到模型通道之间的相互依赖性。SE网络的使用结构如下图所示：

上左图是将SE模块嵌入到Inception结构的一个示例。方框旁边的维度信息代表该层的输出。这里我们使用global average pooling作为Squeeze操作。紧接着两个Fully Connected 层组成一个Bottleneck结构去建模通道间的相关性，并输出和输入特征同样数目的权重。我们首先将特征维度降低到输入的1/16，然后经过ReLu激活后再通过一个Fully Connected 层升回到原来的维度。这样做比直接用一个Fully Connected层的好处在于：1）具有更多的非线性，可以更好地拟合通道间复杂的相关性；2）极大地减少了参数量和计算量。然后通过一个Sigmoid的门获得0~1之间归一化的权重，最后通过一个Scale的操作来将归一化后的权重加权到每个通道的特征上。

除此之外，SE模块还可以嵌入到含有skip-connections的模块中。上右图是将SE嵌入到 ResNet模块中的一个例子，操作过程基本和SE-Inception一样，只不过是在Addition前对分支上Residual的特征进行了特征重标定。如果对Addition后主支上的特征进行重标定，由于在主干上存在0~1的scale操作，在网络较深BP优化时就会在靠