论文阅读：Selective Kernel Networks

最新推荐文章于 2025-09-29 17:33:51 发布
原创 最新推荐文章于 2025-09-29 17:33:51 发布 · 2.3k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

SK-Net是 Selective Kernel Networks 的简称，它提出了一种动态选择机制，允许神经元根据输入信息的尺度自适应调整感受野。文章对比了标准CNN中固定感受野的局限性，并介绍了SK-Net的Split、Fuse和Select三个算子，通过这些算子实现不同核大小的卷积分支的融合和选择，以更精确地捕捉特征。相关工作包括多分支卷积网络、注意力机制和动态卷积等。

这是一篇算是结构性的文章，拿来看一下

2019CVPR ： SK-Net

Selective Kernel Networks 由字面意思，选择性内核网络，可以自适应调整核大小的网络。

在这里插入图片描述
拟解决问题： 标准的CNN中，每一层的人工神经元的感受野设计为相同的大小。但是视觉皮层神经元的感受野大小是受刺激调节的，人工构造则没有考虑到这一点。这样就会导致在捕捉特征的时候无法很准确地捕捉特征。

本文则是提出了一种动态选择机制，允许每个神经元根据输入信息的多个尺度自适应调整感受野的大小。设计了一种被称为选择内核(SK)单元的构造块，在该构造块中，多个具有不同内核大小的分支使用softmax attention进行融合，并由这些分支中的信息引导。对这些分支的不同关注导致融合层神经元的有效接受野大小不同。多个SK单元被堆叠到称为选择性内核网络(SKNets)的深层网络中。SKNet中的神经元能够捕获不同尺度的目标对象，验证了神经元根据输入自适应调整感受野大小的能力。

相关工作

这一块梳理了一些结构性网络的文章，如果将来有需要可以当综述查看一下。
多分支卷积网络

Highway networks 、shake-shake networks 、multi-residual networks 、
The deep neural decision forests 、FractalNets 、 Multilevel ResNets 、The InceptionNets

分组/切除/扩张卷积

注意力机制

动态卷积

最低0.47元/天 解锁文章
Selective Kernel Networks 论文思维导图
04-18
该资源给出了论文 Selective Kernel Networks 整体的思维导图情况，可以更方便的加深对论文的理解与应用，所使用的软件是 MindMaster
SKNet：Selective Kernel Networks——选择性核网络
Together_CZ的博客
02-22 1414
SKNet：Selective Kernel Networks——选择性核网络
Selective Kernel Networks
Acmer_future_victor的博客
03-06 893
Selective Kernel Networks Abstract 在标准的卷积神经网络(CNN)中，每层人工神经元的感受野都被设计成具有相同的大小。众所周知，视觉皮层神经元的感受野大小受刺激的调节，在构建CNN时很少考虑这一点。我们提出了一种CNN中的动态选择机制，允许每个神经元根据输入信息的多个尺度自适应地调整其感受野大小。设计了一种称为选择核(SK)单元的构建块，利用这些分支中的信息指导的Softmax注意力对不同核大小的多个分支进行融合。对这些分支的关注不同，融合层神经元的有效感受野大小也不同。多
Selective Kernel Networks 学习笔记
最新发布
qq_34832548的博客
09-29 862
背景：在标准CNN中，每一层卷积的感受野被设计成相同的大小方法：我们提出了一种卷积的动态选择机制，允许每一个神经元动态基于多重尺度的输入信息调整感受野大小，构建了一个选择核，其中使用这些分支的信息引导softmax注意力融合具有不同内核大小的多个分支，由多个SK但愿堆叠而成的神经网络称为SKNets贡献：在ImageNet和CIFAR基准上达到了SOTA。
Selective Kernel Networks论文总结和代码实现
qq_45981086的博客
05-27 4393
在SKNet中可以看到许多SE模块的痕迹，总的来说SK模块先是通过不同的卷积核将输入特征图进行划分为几个不同的子特征图，再将子特征图相加融合，再经过压缩和softmax处理，得到各种内核上的注意力权重，再与对应子特征图相乘，再相加得到最终的输出特征图V，这个特征图既融合了多个感受野的信息，具有了多尺度的信息。
(CVPR-2019)选择性的内核网络
顾道长生的科研笔记
07-28 1919
在标准的卷积神经网络（CNN）中，每层的人工神经元的感受野被设计成具有相同的大小。在神经科学界众所周知，视觉皮层神经元的感受野大小受刺激的调节，这在构建CNN时很少被考虑。我们提出了一种CNN中的动态选择机制，允许每个神经元根据输入信息的多个尺度来适应性地调整其感受野的大小。我们设计了一个叫做选择性核（SK）单元的构件，其中具有不同核大小的多个分支在这些分支的信息指导下，使用softmax注意力进行融合。对这些分支的不同关注产生了融合层中神经元的有效感受野的不同大小。...
SKnet：Selective Kernel Networks学习笔记+Pytorch代码实现
热门推荐
practical_sharp的博客
03-20 1万+
论文题目：Selective Kernel Networks 发表于 CVPR 2019 论文地址：https://arxiv.org/pdf/1903.06586.pdf 作为一下对比，这里再附上SEnet的结构图： 总结：SK注意力机制和SE注意力机制的不同之处： SE注意力只是在通道上施加MLP学习权重，来体现每个权重之间的重要性差异； SE注意力机制只需要用到一个全局池化和两个全连接层； SK注意力机制是SE注意力机制的升级版，特色之处体现在通过网络自己学习来选择融合不同感受野的特征图信息；
SK_net：Selective Kernel Networks
m0_37859875的博客
09-27 1265
keras实现代码：https://github.com/yuto3o/SKNet-Keras/blob/master/skconv.py
深度学习论文: Selective Kernel Networks及其PyTorch实现
mingo_敏
06-01 1890
Selective Kernel Networks PDF:https://arxiv.org/pdf/1903.06586.pdf PyTorch: https://github.com/implus/SKNet 1 概述 SENet是对特征图的通道注意力机制的研究，之前的CBAM提到了对特征图空间注意力机制的研究。这里SKNet针对卷积核的注意力机制研究。 SKNet提出了一种机制，即卷积核的重要性，即不同的图像能够得到具有不同重要性的卷积核。 SKNet对不同图像使用的卷积核权重不同，即一种针对不同尺
SKAttention:Selective Kernel Networks---CVPR2019
hb_learing的博客
11-22 4528
这是CVPR2019的一篇文章，致敬了SENet的思想。在传统的CNN中每一个卷积层都是用相同大小的卷积核，限制了模型的表达能力；而Inception这种“更宽”的模型结构也验证了，用多个不同的卷积核进行学习确实可以提升模型的表达能力。作者借鉴了SENet的思想，通过动态计算每个卷积核得到通道的权重，动态的将各个卷积核的结果进行融合。 个人认为，之所以所这篇文章也能够称之为lightweight，是因为对不同kernel的特征进行通道注意力的时候是参数共享的（i.e. 因为在做Attention之前，首先将
SKNet: Selective Kernel Networks
00000cj的博客
02-08 2112
Selective Kernel Networks https://github.com/implus/PytorchInsight SKNet——SENet孪生兄弟篇 - 知乎 https://github.com/ResearchingDexter/SKNet_pytorch https://github.com/pppLang/SKNet
【SKNet】《Selective Kernel Networks》
bryant_meng
04-04 1140
CVPR-2019 文章目录1 Background and Motivation2 Advantages / Contributions3 Method4 Experiments4.1 Datasets5 Conclusion（own） 1 Background and Motivation 来自：cs231n课件链接 人类视皮质神经元的感受野是随着刺激的不同而变化的，然而 CNN...
（论文翻译）Selective Kernel Networks（多尺度注意力CVPR2019）
qq_39214409的博客
05-11 2030
在标准的CNNs网络中，每层中的人工神经元的感受野size是固定的挑战：众所周知，神经科学领域中，视觉皮层神经元的感受野size随着刺激进行改变，在CNNs的构建中很少被考虑方法在CNNS中，我们提出了一种动态选择机制，它使每个神经元动态的调整基于输入信息的多尺度的感受野size一种SK unit被设计，其中不同感受野size的多种branches通过这些branches上的信息使用进行融合branches上不同的attention在融合层中会产生不同的神经元感受野size。
Selective Kernel Network
weixin_30877181的博客
04-22 318
senet: https://arxiv.org/abs/1709.01507 sknet: http://arxiv.org/abs/1903.06586 TL, DR Selective Kernel Networks 启发自皮质神经元根据不同的刺激可动态调节其自身的receptive field, 从而在CNN每一个 stage, 增加不同尺寸 filter 分支。 总体网络结构和 SENe...
「Computer Vision」Note on Selective Kernel Networks
小锋子Shawn
03-20 932
QQ Group: 428014259 Tencent E-mail：403568338@qq.com http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/88698258 [1] Selective Kernel Networks CVPR 2019 [paper] [code]
【论文阅读】Selective Kernel Networks
creami11的博客
10-14 364
源论文https://arxiv.org/pdf/1903.06586.pdf 源码https://github.com/implus/SKNet Introduction 本文提出了一种在CNN网络中动态选择的机制，让每一个神经元可以根据输入信息自动调整感受野大小。作者设计了一个网络模块，称为Selective Kernel Unit，以此来实现这个目的。 文中提出了一种在CNN中对卷积核的动态选择机制，该机制允许每个神经元根据输入信息的多尺度自适应地调整其感受野（卷积核）的大小。设计了一个称为选
SKNet-PyTorch：深度理解的选择性内核卷积网络实现
标签中列出了“pytorch”，“imagenet”，“cvpr”，“imagenet-classifier”，“cvpr2019”，“selective-kernel-networks”，“sknet”，“Python”，这些标签代表了该项目的技术领域和应用背景。PyTorch是实现该...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值