手把手教你用PyTorch实现Squeeze-and-Excitation Networks(附代码)

Squeeze-and-Excitation Networks(挤压和激励网络) Squeeze-and-Excitation Networks ie Hu[0000−0002−5150−1003] Li Shen[0000−0002−2283−4976] Samuel Albanie[0000−0001−9736−5134] Gang Sun[0000−0001−6913−6799] Enhua Wu[0000−0002−2174−1428] Abstract 卷积神经网络(CNNs)的核心构造块是卷积算子,它使网络能够通过融合各层局部感受野中的空间和信道信息来构造信息特征。. 阅读详情

PyTorch实战:从零构建Squeeze-and-Excitation Networks的工程指南

1. 理解通道注意力机制的核心思想

在传统卷积神经网络中,每个卷积滤波器都会在局部感受野内融合空间和通道信息。然而,这种操作隐含了一个假设:所有特征通道对后续变换的贡献是均等的。2017年提出的Squeeze-and-Excitation(SE)模块通过显式建模通道间依赖关系,打破了这一固有范式。

SE模块的核心创新在于引入了一个轻量级的门控机制,它能够自适应地重新校准通道特征响应。具体来说,该机制包含两个关键操作:

  • Squeeze:通过全局平均池化将空间维度压缩为通道描述符,捕获全局感受野信息
  • Excitation:通过全连接层学习通道间的非线性关系,生成各通道的权重

这种设计带来的优势非常明显:在几乎不增加计算成本的情况下(通常<1%的FLOPs增加),能够显著提升模型性能。以ResNet-50为例,添加SE模块后,ImageNet上的top-5错误率从7.48%降至6.62%,接近更深层的ResNet-101网络(6.52%)的表现。

2. SE模块的PyTorch实现细节

让我们从最基础的SE模块实现开始,逐步解析其中的关键设计选择:

import torch
import torch.nn as nn

class SELayer(nn.Module):
    def __init__(self, channel, reduction=16):
        super(SELayer, self).__init__()
        # Squeeze操作:全局平均池化
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        
        # Excitation操作:两个全连接层构成瓶颈结构
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        # Squeeze阶段
        y = self.avg_pool(x).view(b, c)
        # Excitation阶段
        y = self.fc(y).view(b, c, 1, 1)
        # 特征重校准
        return x * y.expand_as(x)

关键实现要点解析:

  1. Reduction比率选择:

    • 实验表明reduction=16在大多数情况下提供了最佳平衡
    • 过小的reduction(如<8)会导致参数过多,可能过拟合
    • 过大的reduction(如>32)会限制模型的表达能力
  2. 激活函数选择:

    • ReLU用于引入非线性,经验证明优于Tanh
    • Sigmoid确保输出在[0,1]范围,作为通道权重
  3. 偏置项处理:

    • 实践中发现去除FC层的bias可以轻微提升性能
    • 可能因为bias会干扰通道权重的相对比例

3. 将SE模块集成到常见网络架构

SE模块的美妙之处在于其通用性,可以无缝集成到各种网络架构中。以下是几种典型集成方式:

3.1 SE-ResNet实现

class SEBottleneck(nn.Module):
    expansion = 4

    def __init__(self, inplanes, planes, stride=1, downsample=None, reduction=16):
        super(SEBottleneck, self).__init__()
        self.conv1 = nn.Conv2d(inplanes, planes, kernel_size=1, bias=False)
        self.bn1 = nn.BatchNorm2d(planes)
        self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=stride,
                               padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(planes)
        self.conv3 = nn.Conv2d(planes, planes * 4, kernel_size=1, bias=False)
        self.bn3 = nn.BatchNorm2d(planes * 4)
        self.relu = nn.ReLU(inplace=True)
        self.se = SELayer(planes * 4, reduction)
        self.downsample = downsample
        self.stride = stride

    def forward(self, x):
        residual = x

        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)

        out = self.conv2(out)
        out = self.bn2(out)
        out = self.relu(out)

        out = self.conv3(out)
        out = self.bn3(out)
        
        # 插入SE模块
        out = self.se(out)

        if self.downsample is not None:
            residual = self.downsample(x)

        out += residual
        out = self.relu(out)

        return out

3.2 SE模块在Inception结构中的集成

class SEInceptionModule(nn.Module):
    def __init__(self, in_channels, out_channels, reduction=16):
        super(SEInceptionModule, self).__init__()
        # 假设这是一个简化的Inception模块
        self.branch1 = nn.Sequential(
            nn.Conv2d(in_channels, out_channels//4, 1),
            nn.BatchNorm2d(out_channels//4),
            nn.ReLU(True)
        )
        self.branch2 = nn.Sequential(
            nn.Conv2d(in_channels, out_channels//4, 1),
            nn.BatchNorm2d(out_channels//4),
            nn.ReLU(True),
            nn.Conv2d(out_channels//4, out_channels//4, 3, padding=1),
            nn.BatchNorm2d(out_channels//4),
            nn.ReLU(True)
        )
        self.se = SELayer(out_channels, reduction)
        
    def forward(self, x):
        out1 = self.branch1(x)
        out2 = self.branch2(x)
        out = torch.cat([out1, out2], 1)
        out = self.se(out)
        return out

4. 可视化分析与调试技巧

理解SE模块的实际作用对于正确使用和调试至关重要。以下是几种有效的可视化方法:

4.1 通道权重可视化

def visualize_se_weights(model, input_tensor, layer_index=0):
    # 获取指定SE层的权重
    se_layer = model.layers[layer_index].se
    _ = model(input_tensor)  # 前向传播
    
    # 假设我们存储了中间权重
    weights = se_layer.last_weights 
    plt.figure(figsize=(10, 5))
    plt.bar(range(len(weights)), weights)
    plt.title('Channel-wise excitation weights')
    plt.xlabel('Channel index')
    plt.ylabel('Weight value')
    plt.show()

4.2 特征图对比

def compare_feature_maps(original_model, se_model, input_tensor):
    # 获取原始模型和SE模型的中间特征
    orig_features = get_intermediate_features(original_model, input_tensor)
    se_features = get_intermediate_features(se_model, input_tensor)
    
    # 选择特定通道进行可视化
    channel_idx = 42  # 示例通道
    plot_two_heatmaps(
        orig_features[channel_idx], 
        se_features[channel_idx],
        titles=['Original', 'SE-enhanced']
    )

5. 实战中的调优策略

在实际项目中应用SE模块时,以下几个策略能显著提升效果:

5.1 渐进式引入SE模块

  • 初期实验:先在网络最后几个block添加SE模块
  • 全面部署:验证有效后,逐步向浅层扩展
  • 深度调整:不同阶段可使用不同的reduction ratio

5.2 学习率调整

# SE层通常需要更大的学习率
optimizer = torch.optim.SGD([
    {'params': model.base_layers.parameters(), 'lr': 0.1},
    {'params': model.se_layers.parameters(), 'lr': 0.2}
], momentum=0.9)

5.3 与其他注意力机制结合

class CBAMLayer(nn.Module):
    """ 结合通道注意力和空间注意力 """
    def __init__(self, channel, reduction=16):
        super(CBAMLayer, self).__init__()
        # 通道注意力(SE模块)
        self.channel_attention = SELayer(channel, reduction)
        # 空间注意力
        self.spatial_attention = nn.Sequential(
            nn.Conv2d(2, 1, kernel_size=7, padding=3),
            nn.Sigmoid()
        )
    
    def forward(self, x):
        # 通道注意力
        x = self.channel_attention(x)
        # 空间注意力
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        spatial = torch.cat([avg_out, max_out], dim=1)
        spatial = self.spatial_attention(spatial)
        return x * spatial

6. 性能优化与部署考量

当SE模块应用于生产环境时,需要注意以下优化点:

6.1 计算效率优化

class EfficientSELayer(nn.Module):
    """ 使用分组卷积优化FC层 """
    def __init__(self, channel, reduction=16):
        super(EfficientSELayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        # 使用1x1卷积代替FC层
        self.fc = nn.Sequential(
            nn.Conv2d(channel, channel//reduction, 1, groups=4, bias=False),
            nn.ReLU(inplace=True),
            nn.Conv2d(channel//reduction, channel, 1, groups=4, bias=False),
            nn.Sigmoid()
        )
    
    def forward(self, x):
        y = self.avg_pool(x)
        y = self.fc(y)
        return x * y

6.2 量化友好设计

class QuantizableSELayer(nn.Module):
    """ 为量化优化的SE模块 """
    def __init__(self, channel, reduction=16):
        super(QuantizableSELayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel//reduction),
            nn.ReLU(inplace=True),
            nn.Linear(channel//reduction, channel),
            nn.Sigmoid()
        )
        self.quant = torch.quantization.QuantStub()
        self.dequant = torch.quantization.DeQuantStub()
    
    def forward(self, x):
        x = self.quant(x)
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        y = self.dequant(y)
        return x * y

7. 跨任务应用实例

SE模块不仅限于分类任务,在检测、分割等领域同样有效:

7.1 目标检测中的集成

class SEFPN(nn.Module):
    """ 在特征金字塔网络中引入SE模块 """
    def __init__(self, in_channels_list, out_channels):
        super(SEFPN, self).__init__()
        # 标准FPN实现...
        self.se_layers = nn.ModuleList([
            SELayer(out_channels) for _ in in_channels_list
        ])
    
    def forward(self, x):
        # FPN前向传播...
        for i, feature in enumerate(features):
            features[i] = self.se_layers[i](feature)
        return features

7.2 语义分割中的应用

class SEDeeplabHead(nn.Module):
    """ DeepLabv3+头部集成SE模块 """
    def __init__(self, in_channels, num_classes):
        super(SEDeeplabHead, self).__init__()
        self.aspp = ASPP(in_channels, [12, 24, 36])
        self.se = SELayer(256)  # ASPP输出通道数
        self.decoder = Decoder(256, num_classes)
    
    def forward(self, x):
        x = self.aspp(x)
        x = self.se(x)
        return self.decoder(x)

8. 常见问题与解决方案

在实际项目中遇到的典型问题及解决方法:

问题1:SE模块导致训练不稳定

  • 解决方案:降低初始学习率,或在SE层的FC层使用较小的初始化范围
# 自定义初始化
for m in self.modules():
    if isinstance(m, nn.Linear):
        nn.init.uniform_(m.weight, -0.01, 0.01)

问题2:SE模块在小型数据集上过拟合

  • 解决方案:增大reduction ratio或添加dropout
self.fc = nn.Sequential(
    nn.Linear(channel, channel//32),  # 更大的reduction
    nn.ReLU(),
    nn.Dropout(0.5),  # 添加dropout
    nn.Linear(channel//32, channel),
    nn.Sigmoid()
)

问题3:部署时SE模块成为性能瓶颈

  • 解决方案:使用更高效的实现或调整位置
# 仅在关键层使用SE模块
if stride == 2 or inp == oup:  # 下采样或通道变化时
    self.se = SELayer(oup)
else:
    self.se = nn.Identity()
深入浅出之Squeeze-and-Excitation(YOLO) Squeeze-and-Excitation(SE)是一种神经网络架构中的注意力机制,旨在通过学习每个通道的重要性来增强网络的表示能力。 阅读详情

相关推荐

注意力机制论文:Squeeze-and-Excitation Networks及其PyTorch实现

Squeeze-and-Excitation Networks PDF: https://arxiv.org/pdf/1709.01507.pdf PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks PyTorch代码:

mingo_敏 5354

注意力机制(一)SE模块(Squeeze-and-Excitation Networks)论文总结和代码实现

SE模块(Squeeze-and-Excitation Networks)论文总结和代码实现

qq_45981086的博客 11万+

注意力机制论文:GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond及其PyTorch实现

GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond PDF: https://arxiv.org/pdf/1904.11492.pdf PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks PyTorch代码:

mingo_敏 9389

Squeeze-and excitation network

Squeeze-and excitation network introdutcion motivation:当前一些研究表明,将attention机制引入网络中来捕获特征之间的空间相关性可增强CNN的表征,但本文希望建立channels之间的关系。 整体的SE block的图: 如上图所示:变换函数Ftr将输入x转化为特征U,U的shape为h*w*c。随后U经两个分支,在上面的分支...

karen17的博客 761

新手避坑指南:手把手教你从零编写DC综合的.synopsys_dc.setup配置文件

本文详细介绍了如何从零开始编写DC综合的.synopsys_dc.setup配置文件,帮助新手避开常见误区。内容涵盖工艺库路径设置、核心参数详解、实用调试技巧以及高效配置模板,特别强调了配置文件在数字IC设计流程中的重要性。通过实战案例和常见报错解决方案,读者可以快速掌握DC综合配置的关键技能。

weixin_30517215的博客 298

从零开始:在Windows WSL中搭建Openfoam7+blastfoam2.0.0开发环境(避坑大全)

本文详细指导在Windows WSL中搭建OpenFOAM 7与BlastFOAM 2.0.0开发环境,重点解析了安装过程中的常见“坑点”,如编译模式不匹配导致的符号错误,并提供了从系统准备、软件部署到环境验证的完整解决方案,帮助开发者高效构建CFD与爆炸模拟开发平台。

stem5的博客 527

SE(Squeeze and Excitation)模块的理解以及代码实现

SEBlock并非一个完整的网络,而且一个子结构,可以嵌在其他分类或检测模型中。SEBlock的核心思想是通过网络根据loss去学习特征权重,使得有效的featuremap权重更大,无效或效果小的featuremap权重更小的方式去训练模型已达到更好的结果。当然,SEblock嵌在原有的一些分类网络中不可避免地增加了一些参数和计算量,但是在效果面前还是可以接受的。.........

qq_41915623的博客 1万+

LQR控制算法调参指南:如何通过Bryson‘s Rule和Trial-and-Error优化自动驾驶性能?

本文深入探讨了LQR控制算法在自动驾驶系统中的调参策略,从Bryson's Rule的基础应用到工程落地的优化方法。通过动态权重适应、非对角项引入和多目标权衡等技巧,提升车辆轨迹跟踪精度与操控舒适性。文章还介绍了数据驱动的调参流程和典型问题的解决方案,为自动驾驶工程师提供实用指南。

kkk56的博客 1027

SENet:Squeeze-and-Excitation Networks详解及Pytorch实现

文章目录前言一、什么是SENetSqueezeExcitation二、完整SE block的Pytorch实现总结 前言 计算机视觉研究领域的一个核心理论就是如何提高网络的表现力使其关注到图片的关键位置,从而提升网络性能。与一般网络通过空间维度优化不同,SENet(Squeeze-and-Excitation Networks)着手于优化channel维度,通过引入注意力机制,增加少量参数,使模型可以更好地获取不同channel上的特征,从而提高准确率。 与其称为SENet,不如称其为SE Block。因

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 20万+

英伟达NVIDIA数字IC后端笔试真题(ASIC Physical Design Engineer)

英伟达NVIDIA数字IC后端笔试真题(ASIC Physical Design方向)

weixin_37584728的博客 3934

【车间调度】车间调度问题的分类

本系列为自己学习调度相关知识的记录,如有误请指出,也欢迎调度方向的小伙伴加我好友共同交流。 车间调度问题的分类 根据工件和车间构成不同,车间调度问题可分为以下几种 1.单机调度问题 在单机调度问题(S,SMP)中,加工系统只有一台机床,待加工的工件有且仅有一道工序,所有工件都在该机床上进行加工。此问题是最简单的调度问题,当生产车间出现瓶颈机床时的调度就可视为此调度问题。 ...

weixin_51656605的博客 7433

【Pytorch】Squeeze-and-Excitation Networks

【Pytorch】Squeeze-and-Excitation Networks

a_piece_of_ppx的博客 1389

Android音频学习(一)——音频基础

在系统的学习Android音频之前,先了解音频的基础知识。

miemie2014的博客 1486

Squeeze-and-Excitation Networks

《Squeeze-and-Excitation Networks》阅读笔记

qq_52771580的博客 985

【AI落地】AI生成测试用例,claude or gpt?(提效至少 50%)

gpt生成测试用例?当然好使啦,用好了提效50%+,用不好就让他变好!

青禾tester 1972

机器学习扩散模型简介

​ 扩散模型是生成模型,在过去几年中越来越受欢迎,这是有充分理由的。仅在 2020 年代发布的几篇开创性论文就向世界展示了 Diffusion 模型的能力,例如在图像合成方面击败 GAN[6]。最近,从业者将看到DALL-E 2(OpenAI 上个月发布的图像生成模型)中使用的扩散模型。

gongdiwudu的专栏 4274

深入理解Squeeze-and-Excitation Networks(SE模块)的原理与实现

SE模块的全称是Squeeze-and-Excitation模块,它的核心创新点在于通过显式建模卷积特征通道间的相互依赖关系,让网络能够自适应地重新校准通道特征响应。第一个FC层将通道数压缩C/r倍,第二个FC层恢复原始通道数,中间使用ReLU激活,最后通过Sigmoid输出0-1之间的权重值。实际使用时发现,平台对深度学习项目的支持很友好,从代码编辑到效果预览的流程非常流畅。对于想快速理解注意力机制的同学,这种所见即所得的体验确实能加深对SE模块工作原理的理解。这个阶段保留了常规卷积的特征提取能力。

DiamondWolf89的博客 756

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

机器学习论文笔记(五):Squeeze-and-Excitation Networks

机器学习论文笔记(五):Squeeze-and-Excitation Networks arxiv:https://arxiv.org/abs/1709.01507 代码地址:https://github.com/hujie-frank/SENet PyTorch代码地址:https://github.com/miraclewkf/SENet-PyTorch 简介: ...

weixin_41313407的博客 1452

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

SE-Net Squeeze-and-Excitation Networks 压缩并激活

链接:https://blog.youkuaiyun.com/qq_36104364/article/details/79972251?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1

张齐贤的博客 2034

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

pytorch实现SeNet

论文链接:https://arxiv.org/abs/1709.01507 senet的全称为Squeeze-and-Excitation Networks,压缩-激活网络。 网络结构 FtrF_{tr}Ftr​可以看做是对feature-map的transform,将X(H′×W′×C′)X(H^{&#x27;}\times W^{&#x27;}\times C^{&...

winycg的博客 1万+

Squeeze-and-Excitation注意力机制详解:seresnet50.a2_in1k核心技术深度剖析

HuggingFace镜像 / timm / seresnet50.a2_in1k是一款融合了Squeeze-and-Excitation(SE)通道注意力机制的图像分类模型,它在ResNet架构基础上进行创新改进,能够有效提升模型对关键特征的捕捉能力,在ImageNet-1k数据集上展现出优异的性能。 ## 什么是Squeeze-and-Excitation注意力机制? Squeeze-an

gitblog_00899的博客 1001

2018 CVPR 《Squeeze-and-Excitation Networks》 PyTorch实现

import numpy as np import torch from torch import nn from torch.nn import init # SE-attention # 方法出处 2018 CVPR 《Squeeze-and-Excitation Networks》 # 该方法用于捕获特征图之间的关系 class SEAttention(nn.Module): # 模型层的初始化 def __init__(self, channel=512, reduction.

oldsummer 322

【小白学PyTorch】12.SENet详解及PyTorch实现

<<小白学PyTorch>>小白学PyTorch | 11 MobileNet详解及PyTorch实现小白学PyTorch | 10 pytorch常见运算详解小...

fengdu78的博客 1458

[ 注意力机制 ] 经典网络模型1——SENet 详解与复现

[ 注意力机制 ] 经典网络模型1——SENet 详解与复现 1、Squeeze-and-Excitation Networks 2、Squeeze-and-Excitation block 3、SENet 详解 4、SENet 复现 Squeeze-and-Excitation Networks 简称 SENet ,由 Momenta 和 牛津大学 的 胡杰等人 提出的一种新的网络结构; 目标是通过显式的建模 卷积特征通道 之间的 相互依赖关系 来提高网络的表示能力; 最后一届ImageNet比赛获得冠军

A_John 的博客 3万+

【小白学PyTorch】12 SENet详解及PyTorch实现

文章来自微信公众号【机器学习炼丹术】。我是炼丹兄,有什么问题都可以来找我交流,近期建立了微信交流群,也在朋友圈抽奖赠书十多本了。我的微信是cyx645016617,欢迎各位朋友。 文章目录1 网络结构2 参数量分析3 PyTorch实现与解析 上一节课讲解了MobileNet的一个DSC深度可分离卷积的概念,希望大家可以在实际的任务中使用这种方法,现在再来介绍EfficientNet的另外一个基础知识—,Squeeze-and-Excitation Networks压缩-激活网络 1 网络结构 可以看出来

忽逢桃林的博客 1463
上一篇: 5分钟搞定Dify本地部署:从Docker安装到接入Ollama大模型的保姆级教程
下一篇: 飞镖靶心实验:用3个步骤搞懂定位精度与重复定位精度的本质区别
python9snake
博客等级 码龄1天 0粉丝 1724原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值