SK 注意力模块 原理分析与代码实现

已于 2022-10-15 16:09:21 修改
阅读量7.2k 收藏 76
点赞数 8
分类专栏： 神经网络学习 文章标签： 深度学习 SK 注意力 SK-Nets 通道注意力
于 2022-10-15 16:08:32 首次发布
© 本文为博主原创文章，未经博主允许不得转载；请联系博主@一颗小树（国溥）
本文链接：https://blog.youkuaiyun.com/qq_41204464/article/details/127334477
版权
本文详细介绍了SK注意力模块，一种通道注意力模块，适用于视觉模型，能提升模型精度。SK模块基于SE模块改进，通过不同尺寸的卷积核自动选择特征，实现通道注意力。文中还提供了SK模块的实现代码和在模型中的应用示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

本文介绍SK模块，一种通道注意力模块，它是在SK-Nets中提出的，SK-Nets是2019 CVPR中的论文；SK模块可以被用于CV模型中，能提取模型精度，所以给大家介绍一下它的原理，设计思路，代码实现，如何应用在模型中。

一、SK 注意力模块

SK 注意力模块，它是一种通道注意力模块；常常被应用与视觉模型中。支持即插即用，即：它能对输入特征图进行通道特征加强，而且最终SK模块输出，不改变输入特征图的大小。

  • 背景：它在SE注意力模型的基础上进行改进；SK在学习通道注意力信息中，通过网络自己学习，来选择融合不同感受野的特征图信息；
  • 设计
了解本专栏 订阅专栏 解锁全文
ResNet改进(7)：添加 SK注意力机制
2401_82355416的博客
03-17 405
实现 SK 注意力机制。
注意力机制之SK Attention
qq_38915354的博客
03-22 6867
注意力机制
即插即用的涨点模块之注意力机制（SKAttention）详解及代码，可应用于检测、分割、分类等各种算法领域
qq_51511878的博客
04-20 7255
SKNet来源：CVPR2019官方代码：什么是感受野？感受野（receptive field）是指在网络的前向传播过程中，每个神经元对输入数据的区域大小。换句话说，它表示了神经元在输入空间中接收信息的范围。在图像处理任务中，神经元的感受野大小通常与输入图像的像素大小有关。较小的感受野可以捕获局部细节，而较大的感受野则可以捕获更大范围的整体结构和语境信息。因此，设计合适大小的感受野对于不同的任务和网络架构至关重要。SKAttention能够根据输入动态选择不同大小的卷积核。
深度学习中常用的注意力模块及其原理和作用
ywfwyht的博客
10-16 2856
深度学习中常用的注意力模块及其原理和作用，以及相应的PyTorch代码示例。
YOLOv5、v7改进之三十二：引入SKAttention注意力机制
m0_70388905的博客
10-15 5681
YOLOv5、v7改进之三十二：SKAttention注意力机制
三分钟学会使用系列（YOLOv5）|SK通道注意力机制，涨点神器！
深度学习炼丹师，偶尔分享炼丹技术!
01-29 1085
本文旨在让读者快速了解相关技术并运用,欢迎关注。
ECA 注意力模块 原理分析与代码实现
黎国溥
09-25 2万+
本文介绍ECA注意力模块，它是在ECA-Net中提出的，ECA-Net是2020 CVPR中的论文；ECA模块可以被用于CV模型中，能提取模型精度，所以给大家介绍一下它的原理，设计思路，代码实现，如何应用在模型中。它是一种通道注意力模块。
SE 注意力模块 原理分析与代码实现
黎国溥
09-24 1万+
本文介绍SE注意力模块，它是在SENet中提出的，SENet是ImageNet 2017的冠军模型；SE模块常常被用于CV模型中，能较有效提取模型精度，所以给大家介绍一下它的原理，设计思路，代码实现，如何应用在模型中。后面还会介绍其它注意力模型：SK-Nets、CBAM、DANet、ECA-Net、CA等注意力模块。
YOLOv5/v7 添加注意力机制，30多种模块分析①，SE模块，SK模块
学Java，找哪吒
06-05 3763
注意力机制（Attention Mechanism）是一种在机器学习和自然语言处理领域中广泛应用的重要概念。它的出现解决了模型在处理长序列或大型输入时的困难，使得模型能够更加关注与当前任务相关的信息，从而提高模型的性能和效果。
YOLOv8改进 - 注意力篇 - 引入SK网络注意力机制
浪子L的博客
09-26 1820
YOLOv8改进 - 注意力篇 - 引入SK网络注意力机制
Attention(注意力机制代码)
07-16
Attention.zip文件中总结了几种关于注意力机制的代码，有keras和tensorflow，还有PyTorch框架的
注意力模块
weixin_64043217的博客
02-18 1万+
注意力机制
3步搞定yolov5源码 改进之SKAttention注意力机制
Christo的博客
02-20 956
yolov5 改进之SKAttention
【深度学习注意力机制系列】—— SKNet注意力机制（附pytorch实现）
qq_43456016的博客
08-09 1万+
SKNet是一种创新的深度神经网络架构，通过引入选择性的多尺度卷积核和注意力机制，提升了特征提取的能力。其核心结构包括选择模块和SK卷积层，能够有效地融合多尺度信息、自适应地调整卷积核的尺度，并减少计算成本。这使得SKNet在图像分类和目标检测等任务中取得了优越的性能。
注意力机制模块
m0_56250941的博客
07-18 3865
注意力机制模块
注意力机制简介
steven_ysh的博客
12-21 3330
对几种注意力网络进行简单介绍
语义分割模型 注意力模块Attention（学习笔记）
m0_64931337的博客
01-17 1566
深度学习入门：注意力机制的理解
注意力机制（SE、Coordinate Attention、CBAM、ECA，SimAM）、即插即用的模块整理
热门推荐
weixin_44645198的博客
12-23 4万+
总结曾经使用过的一些即插即用的模块以及一些注意力机制 注意力模块：SE 代码源自这位大佬的仓库：https://github.com/moskomule/senet.pytorch class SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1)
SKnet多尺度卷积
最新发布
02-20
### SKNet 中的多尺度卷积 #### 网络架构概述 SKNet 的核心在于其引入的选择性核 (Selective Kernel, SK) 卷积模块，该模块允许网络动态调整不同尺度的感受野。这使得模型能够在训练过程中自动学习到最适合当前任务的卷积核尺寸组合[^2]。 #### 多尺度卷积实现细节 为了实现在单个层内处理多种感受野的能力，SK卷积采用了分组机制来创建多个分支，在每个分支上应用不同的扩张率或标准卷积操作。具体来说： 1. **基础路径**：保持不变的空间分辨率； 2. **扩展路径**：通过设置较大的膨胀因子（dilation rate），扩大了局部区域内的连接范围而不增加额外参数； 之后，这些来自不同子空间变换后的特征映射会被聚合起来形成最终输出。这种设计不仅保留了原始输入的信息完整性，还增强了对于复杂模式的理解能力。 ```python import torch.nn as nn class SelectiveKernelConv(nn.Module): def __init__(self, in_channels, out_channels, stride=1, groups=32, radix=2, reduction_rate=4): super().__init__() inter_channels = max(in_channels * radix // reduction_rate, 32) self.paths = nn.ModuleList([ nn.Sequential( nn.Conv2d(in_channels, out_channels//radix, kernel_size=(3, 3), padding=dil, dilation=dil, bias=False), nn.BatchNorm2d(out_channels//radix), nn.ReLU(inplace=True)) for dil in [1, 2]]) # Example of two paths with different dilation rates self.global_pool = nn.AdaptiveAvgPool2d(output_size=(1, 1)) self.fc_reduce = nn.Linear(out_channels, inter_channels) self.fc_expand = nn.Linear(inter_channels, out_channels*radix) def forward(self, x): U = sum([path(x).unsqueeze(dim=-1) for path in self.paths]) / len(self.paths) S = self.global_pool(U.sum(-1)).squeeze() Z = self.fc_reduce(S) attention_weights = F.softmax(self.fc_expand(Z).view(*U.shape[:2], -1), dim=-1) V = torch.sum(U * attention_weights.unsqueeze(-1) return V ``` 此代码片段展示了如何构建一个多尺度感知的SK卷积层，其中包含了两个具有不同膨胀系数的并行路径，并利用全局平均池化和全连接层实现了注意力权重的学习过程。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一颗小树x

您的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值