SKnet:Selective Kernel Networks学习笔记+Pytorch代码实现

即插即用的涨点模块之注意力机制(SKAttention)详解及代码,可应用于检测、分割、分类等各种算法领域 SKNet来源:CVPR2019官方代码:什么是感受野?感受野(receptive field)是指在网络的前向传播过程中,每个神经元对输入数据的区域大小。换句话说,它表示了神经元在输入空间中接收信息的范围。在图像处理任务中,神经元的感受野大小通常与输入图像的像素大小有关。较小的感受野可以捕获局部细节,而较大的感受野则可以捕获更大范围的整体结构和语境信息。因此,设计合适大小的感受野对于不同的任务和网络架构至关重要。SKAttention能够根据输入动态选择不同大小的卷积核。 阅读详情
AI摘要

本文深入解析Selective Kernel Networks(SKNets),一种在CVPR 2019上发表的计算机视觉模型。文章详细介绍了SK注意力机制的工作原理及其与SE注意力机制的区别,并提供了构建SKNet的具体步骤。

论文题目:Selective Kernel Networks

发表于 CVPR 2019

论文地址:https://arxiv.org/pdf/1903.06586.pdf

在这里插入图片描述

作为一下对比,这里再附上SEnet的结构图:

在这里插入图片描述

总结:SK注意力机制和SE注意力机制的不同之处:
  • SE注意力只是在通道上施加MLP学习权重,来体现每个权重之间的重要性差异;
  • SE注意力机制只需要用到一个全局池化和两个全连接层;
  • SK注意力机制是SE注意力机制的升级版,特色之处体现在通过网络自己学习来选择融合不同感受野的特征图信息;
  • SK注意力机制涉及到空洞卷积,组卷积,全局平均池化还有全连接层,不过是通过卷积实现的;

SK注意力机制是如何实现的?

在这里插入图片描述
其实说白了,SK是可以选择融合不同感受野信息的卷积核。

使用SK注意力机制构建ResNet,也就只是将original Residual Block中的3*3的普通卷积核,替换成SK卷积核。

如上图,SK[M=2,G=32,r=16]表示的是什么意思呢?

首先,M表示的是使用不同感受野卷积核的数量,

G表示的是分组卷积的分组数,

r表示的是融合阶段的reduction系数

SK注意力机制的三部曲 Split、Fuse、Select
Split:

我们约定,输入特征图的维度是[batch_size, C, H, W]

首先Split是将输入的特征图X通过不同感受野的空洞卷积,上图中的M = 2,代表两组卷积操作,

一个kernel = 3 * 3,其实dilation = 1,得到特征图
在这里插入图片描述

这个特征图的维度仍然是[batch_size, C, H, W]

一个kernel = 5 * 5,得到特征图

其实真正的kernel_size = 3 * 3,

不过dilation = 2,所以实际的kernel = 5 * 5
在这里插入图片描述
这个特征图的维度也是[batch_size, C, H, W]

Fuse:

然后这两个特征图通过 element wise sum得到特征图U:

在这里插入图片描述
两个相同维度的特征图进行按元素相加,得到的特征图U的维度 也是[batch_size, C, H, W]

然后对U进行全局平均池化得到S:
在这里插入图片描述
得到的Sc的维度是[batch_size, C, 1, 1]

对于得到的Sc,其实就是SE注意力机制中的通道注意力了,

论文中定义了一个压缩通道的系数d:

在这里插入图片描述
其中 C是输入特征图的channel,r是超参数reduction,论文中提到的是r = 16;

L也是超参数,论文中设定的是L = 32;

对于经过全局平均池化的Sc,再进入一个全连接层得到压缩后的通道特征Z,起到降维的作用。

得到的Z的特征图的维度是[batch_size, d, 1, 1] 注意: C>d,所以起到降维的作用

然后再经过一个全连接层得到进行还原成M*C维的向量,起到升维的作用。

还原之后的特征图的大小的维度[batch_size, M*C, 1, 1]

其实这两个全连接层和SE注意力机制中起到的作用是一样的。

就是一个感知机,对通道注意力进行压缩然后再还原成输入向量的M倍,起到一个线性变换的作用。
为什么是M倍呢?

很简单,因为Split这一阶段进行了多组卷积的处理,这里需要对这多组卷积生成的特征图都进行空间注意力的提取。

在这之后,需要做的就是对于[batch_size, M*C, 1, 1]的特征图进行维度上的调整,使得其维度能对应成M个特征图,然后softmax之后进行select操作。

[batch_size, M*C, 1, 1]的特征图进行维度上的调整,变为 [batch_size, M, C, 1] 的大小,对应M个特征图

Select:

然后进行softmax,这是维度上没有任何变化。
在这里插入图片描述

接着将 [batch_size, M, C, 1] 的向量 变成 M 个[batch_size, 1, C, 1]的向量。

再进行reshape操作,变成M个[batch_size, C, 1, 1]的特征图,这样正好就是通道注意力特征图了。

接下来的操作就和SE模块一样了。将通道注意力与对应的特征图element wise相乘,然后M个特征图再element wise相加

在这里插入图片描述

就得到了最后的输出特征图了。

talk is easy, show your my code:

import torch.nn as nn
import torch
from functools import reduce
class SKConv(nn.Module):
    def __init__(self,in_channels,out_channels,stride=1,M=2,r=16,L=32)
Selective Kernel Networks(SKNet)解析,附Pytorch实现代码 背景: 在神经科学界,视皮层神经元的感受野大小受刺激的调节,即对不同刺激,感受野的大小应该不同。目前很多卷积神经网络的相关工作都只是通过改进网络的空间结构来优化模型,如Inception模块通过引入不同大小的卷积核来获得不同感受野上的信息。或inside-outside网络参考空间上下文信息,等等。但在构建传统CNN时一般在同一层只采用一种卷积核,也就是说对于特定任务... 阅读详情

相关推荐

深入解析SKNet:从理论到实践——基于Pytorch的Selective Kernel Networks实现指南

本文深入解析了SKNet(Selective Kernel Networks)的核心原理与PyTorch实现。SKNet通过动态选择不同感受野的卷积核,实现了对图像多尺度特征的智能融合,是注意力机制的重要升级。文章详细拆解了其Split、Fuse、Select三步注意力机制,并提供了从SKConv模块到完整SK-ResNeXt网络的完整PyTorch实现代码与实战调参心得,帮助开发者掌握这一提升模型性能的关键技术。

weixin_29098117的博客 118

SKNet实战:用Pytorch从零实现Selective Kernel Networks(附完整代码解析)

本文详细介绍了如何使用PyTorch从零实现Selective Kernel Networks(SKNet),包括其核心原理、动态卷积核选择机制及完整代码解析。SKNet通过自适应选择不同感受野的卷积核,显著提升模型性能,适用于计算机视觉任务。文章还提供了环境配置、多分支卷积实现及性能对比,帮助开发者快速掌握SKNet技术。

weixin_29048309的博客 203

【CV中的Attention机制】Selective Kernel Networks(SE进化版)

1. SKNet SKNet是SENet的加强版,结合了SE opetator, Merge-and-Run Mappings以及attention on inception block的产物。其最终提出的也是与SE类似的一个模块,名为SK, 可以自适应调节自身的感受野。据作者说,该模块在超分辨率任务上有很大提升,并且论文中的实验也证实了在分类任务上有很好的表现。 这篇博客重画了SK模块示意图,详...

pprp的博客 1644

CVPR 2019 SKNet保姆级PyTorch复现教程:从论文解读到完整代码实现

本文提供CVPR 2019 Selective Kernel Networks(SKNet)的PyTorch复现教程,从论文核心思想解析到完整代码实现,详细讲解动态感受野调节机制及其在卷积神经网络中的应用。教程包含环境配置、SKConv模块实现、训练技巧及常见问题排查,帮助开发者深入理解并复现这一创新架构。

weixin_30693683的博客 680

深入解析SKNet:从理论到实践——基于Pytorch的SK卷积模块实现指南

本文深入解析SKNet(Selective Kernel Networks)及其核心组件SK卷积模块,提供基于Pytorch的完整实现指南。通过Split、Fuse和Select三大机制,SK卷积模块能够动态选择感受野大小,显著提升多尺度目标识别性能。文章详细介绍了SK卷积的PyTorch实现代码,并分享了在不同任务中的应用技巧和性能调优经验,帮助开发者高效应用这一先进技术。

weixin_30776273的博客 516

别再只用SENet了!手把手教你用PyTorch实现SKNet,轻松提升CV模型性能

本文详细介绍了SKNet(Selective Kernel Networks)的核心原理及其在计算机视觉领域的应用,通过PyTorch实现SKConv模块,帮助开发者提升CV模型性能。SKNet通过动态选择不同感受野的卷积核,实现了更精细的特征提取,适用于多尺度目标处理场景。文章还提供了完整的代码实现和性能优化策略,助力开发者快速掌握这一前沿技术。

weixin_30628801的博客 487

ResNet改进(7):添加 SK注意力机制

实现 SK 注意力机制。

2401_82355416的博客 732

深度学习论文: Selective Kernel Networks及其PyTorch实现

Selective Kernel Networks PDF:https://arxiv.org/pdf/1903.06586.pdf PyTorch: https://github.com/implus/SKNet 1 概述 SENet是对特征图的通道注意力机制的研究,之前的CBAM提到了对特征图空间注意力机制的研究。这里SKNet针对卷积核的注意力机制研究。 SKNet提出了一种机制,即卷积核的重要性,即不同的图像能够得到具有不同重要性的卷积核。 SKNet对不同图像使用的卷积核权重不同,即一种针对不同尺

mingo_敏 2046

单片机通信总述——理论部分(CAN、串口、SPI、I2C等)

并行通信:传输原理:数据各个位同时传输;优点:速度快; 缺点:占用引脚资源多。是指使用 8、16、32 及 64 根或更多的数据线(有多少信号为就需要多少信号位)进行传输的通讯方式,可以同一时刻传输多个数据位的数据。串行通信: 传输原理:数据按位顺序传输;优点:占用引脚资源少; 缺点:速度相对较慢。是指设备之间通过一根数据信号线,地线以及控制信号线,按数据位形式一位一位地传输数据的通讯方式,同一时刻只能传输一位(bit)数据。 单工: 数据传输只支持数据在一个方向上传输。信息只能单方向传输的工作方式,一

qq_42475191的博客 1万+

重带电粒子的能量歧离(energy straggling)

能量歧离,Bethe-Bloch

G751888629的博客 2298

Mit6.S081-实验1-Xv6 and Unix utilities

Mit6.S081-实验1-Xv6 and Unix utilities前言一、Boot xv61,实验目的2,操作流程1)切换到xv6-labs-2020代码库的lab1分支2)启动xv63)测试xv64)过程分析5)其他操作二、在xv6中添加一个自己编写的程序1,源码准备2,编译配置3,测试添加程序4,过程分析三、xv6中shell简析 前言 一、Boot xv6 1,实验目的 利用qemu启动xv6 2,操作流程 1)切换到xv6-labs-2020代码库的lab1分支 git checkout ut

code a better life~ 36万+

Xilinx GTY Transceiver时钟方案与功耗优化实践

本文详细解析了Xilinx GTY Transceiver的时钟方案设计与功耗优化实践,涵盖从基础配置到高速24.33024Gbps和中速10.1376Gbps的实战案例。通过Transceivers Wizard的IP设计技巧和动态功耗优化方法,帮助工程师有效降低FPGA系统功耗,提升高速串行通信的稳定性与效率。

weixin_28736355的博客 228

FH8626V100之开发环境搭建

FH8626V100是富瀚微出的一款带摄像头的方案,开发工具在Linux 上进行。版本 Ubuntu 20.04 64位。

xue_nuo的博客 1万+

Python 爬虫实战:美团大众点评餐厅数据爬取与分析

本文摘要:美团/大众点评餐厅数据爬虫实战指南 本文详细介绍了如何开发一个完整的餐厅数据爬虫系统,涵盖从环境配置到数据可视化的全流程。主要内容包括: 项目目标:爬取餐厅基本信息(名称、评分、价格等)及详情数据,支持市场分析和商业决策 技术方案:使用Python生态工具(Requests、Playwright、Pandas等)构建爬虫系统 核心挑战:破解大众点评的字体反爬机制和美团的API签名验证 实现细节:提供完整的代码示例,包括字体解析、签名生成、请求重试等关键功能 数据应用:支持将结果导出为CSV/Exc

u014481728的博客 326

第三天:Python基础语法详解

Python代码规范与注释最佳实践 摘要: 本文深度解析Python缩进规则与代码结构的技术规范,包括缩进的底层原理、语法规则和错误处理。详细阐述Python注释系统,涵盖行内注释、文档字符串和类型注释等多种形式,并提供工业级代码组织方案。研究显示,良好的缩进可提升40%的代码识别速度,降低50%的认知负荷。文章还对比了Sphinx、pdoc等主流文档生成工具,给出企业级项目中的注释编写原则和模板建议,帮助开发者构建更可维护的Python代码。

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 1014

GTK4 入门到实战

本文介绍GTK4作为主流Linux GUI工具包的发展历程与核心特性,涵盖其从GIMP项目诞生的自由软件理念、版本演进及跨平台支持。重点解析GTK4的架构(GDK/GSK/GLib等)、GObject对象系统、信号-回调机制与事件驱动模型,并以C语言为例,结合开发环境搭建与官方示例(gtk4-demo)指导实践,最终通过图片查看器与多标签编辑器项目实现完整应用开发。

OneSea 1407

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 目标检测中的NMS,soft NMS,softer NMS,Weighted Boxes Fusion
下一篇: 《动手学深度学习》(Pytorch版)——预备知识学习
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论 10
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值