论文阅读SE_NET Squeeze-and-Excitation networks

原创 已于 2023-04-15 01:42:53 修改
· 184 阅读 · 0 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #cnn

于 2023-04-13 15:02:56 首次发布
SENet是一种卷积神经网络架构，通过Squeeze-and-Excitation块来显式建模通道间的相互依赖，从而自适应地重新校准特征响应。这种块通过全局信息嵌入和自适应校准增强网络的表征能力，能在保持低额外计算成本的同时提升现有深度架构的性能。在ILSVRC2017分类比赛中，基于SENet的模型显著降低了错误率，表现出优越的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基本信息

作者/机构 Jie Hu  University of Oxford

期刊/会议/年份 2018

DOI/论文地址 CVPR 2018 Open Access Repository

代码地址 https://github.com/hujie-frank/SENet

相关资料 【深度学习经典网络架构—8】：注意力机制之SE_Block_seblock_米开朗琪罗~的博客-优快云博客

Squeeze-and-Excitation Block - 知乎

SENet(Squeeze-and-Excitation Networks)论文详解 - 简书

摘要

卷积神经网络基于卷积操作，通过在局部感受野内融合空间和通道信息来提取信息特征。为了增强网络的表征能力，最近的一些方法已经显示增强空间编码的好处。在本研究中，我们专注于通道关系，并提出一种新的架构单元，称为“Squeeze-and-Excitation”（SE）块，通过显式建模通道之间的相互依赖关系，自适应地重新校准通道特征响应。我们证明，通过堆叠这些块，我们可以构建能够在具有挑战性的数据集上广泛推广的SENet架构。关键的是，我们发现SE块在最小的额外计算成本下显著提高了现有最先进的深层架构的性能。SENets是我们在ILSVRC 2017分类比赛中获得第一名并将top 5错误率显着降低至2.251%的基础，相对于2016年的获奖条目，实现了约25%的相对改进。

主要内容

卷积的表示

如上图Frt的输入为X∈ℝH`× W`× C` ，输出为U∈ℝH× W× C，Frt是一个卷积操作，用V = [V1,v2,v3,,,,Vc]表示，Vc表示第C个卷积，输出用U = [U1,U2….Uc]表示，则有

由于输出是通过所有通道的求和产生的，因此通道相关性隐式地嵌入在Vc 卷积后的输出中。我们期望通过显式地建模通道的相互依赖性来增强卷积特征的学习，从而使网络能够提高其对信息特征的敏感性，这些信息特征可以被后续转换利用。因此，我们希望为其提供获取全局信息的途径，并在输入下一个转换之前，分两步（Sequeeze and Excitation）重新校准滤波器响应。

Sequeeze ：Global Information Embedding

每个卷积核只能利用其对应的局部感受野内的信息来生成输出特征图。换句话说，卷积核只能“看到”局部区域的信息，而不能利用更远的区域的信息。当这些卷积操作被堆叠成深层网络时，较浅的层的局部感受野会更小，导致它们在利用更广泛的上下文信息时受到限制。因此，作者指出在深层网络中使用单独的卷积核来捕捉通道之间的相关性是有限的。

为了解决这个问题，作者建议将全局空间信息压缩到信道描述符中。

Zc是队特征U在H*W空间上执行全局平均池化后的结果

Squeeze操作就是在得到U （多个特征图）之后采用全局平均池化操作对每一个特征图进行压缩，使其C个特征图最后变成1 × 1 × C的实数数列。

Excitation: Adaptive Recalibration 自适应校准

为了利用Squeeze操作中聚合的信息，我们需要继续执行第二个操作Excitation，目的是完全捕获通道依赖关系。为了实现这一目标，该功能必须满足两个标准：第一，它必须操作灵活（尤其是它必须能够学习通道之间的非线性关系），第二，它必须学习非互斥关系，因为我们希望多个通道都能被加强（而不是类似one-hot那种仅加强了某一个通道特征）。为了满足这些标准，作者选择使用带有sigmoid 激活的简单门控机制。

σ 表示sigmoid激活函数，δ 表示relu激活函数   其中

 为了限制模型的复杂性并使其通用化，作者使用两个FC层来对选通机制进行参数化，即具有降维率r的降维层，一个ReLU，然后是一个维度升高层，再转到输出特征图的通道维度。通过使用激活重新缩放特征图来获得Block的最终输出。

得到s后，可以通过下式得到SE_Block的最终输出：

 

应用

在inception上的使用

 

在ResNet上的使用

 

 

实验

 

不足点/发展方向

SE-Net:Squeeze-and-Excitation Networks论文详解
weixin_47166887的博客
10-27 6745
注意力机制的文章之------通道注意力 SE-Net:Squeeze-and-Excitation Networks论文详解 论文链接：https://arxiv.org/pdf/1709.01507.pdf Github代码：https://github.com/hujie-frank/SENet 注意力机制最早用于自然语言处理(NLP),后来在计算机视觉(CV)也得到广泛的应用，之后注意力机制便被引入来进行视觉信息处理。注意力机制的核心思想就是能够从大量的信息中筛选出重要的信息。注意力机制可以分为通道
SE-Net---在通道上分配attention的模块（论文阅读）
qq_34923437的博客
05-14 2213
Squeeze excitation network 以下简称SE-Net SE是一个在卷积特征图通道上分配Attention的模块，可嵌入到其他的的网络结构中。 SE模块图示： 下面说明如何计算attention，即分配给各通道权重值的计算方式。 Ftr：常规卷积操作 Fsq：squeeze操作，使用H x W大小的卷积核进行average pooling（也叫global average pooling），生成1 x 1 x C的向量 Fex：excitation操作。 公式表示的是两个
SENets：Squeeze-and-Excitation Networks 论文阅读
xh_hit的博客
07-15 2011
概述：本文ILSVRC 2017 classification的冠军之作，着重考察了深度卷积各通道间的关系，提出了Squeeze-and-Excitation结构，是网络结构设计的一种新的思想。基于目前主流的Inception或者ResNet结构，Squeeze-and-Excitation结构也非常易于添加实现。Abstract：卷积通过在一定感受野内融合空间和各通道间的信息达到提取特征的目的，...
轻量化网络系列 | 解读SqueezeNet、SqueezeNext
weixin_48249563的博客
03-25 1919
论文原文： 目录SqueezeNet SqueezeNet Fig 1. Model Size vs. ImageNet Accuracy
SENet论文解读及代码实例
qq_44840741的博客
11-15 6160
SENet论文解读及代码实例 在SENet前的网络是针对卷积空间来做处理的，而SENet考虑了卷积通道上的的权重（明确地建模网络卷积特征通道之间的相互依赖关系），通过训练每个通道权重来抑制无用特征，提高有用特征在分类网络的占比，从而实现识别精度的提升。SENet引入权重计算网络，识别精度提升的代价为参数量提高10%左右，计算量提高1%左右。 1）SE block模块原理 下图为SE模块的建立过程 ，在SE模块中，生成的特征图经聚合层（Squeeze）生成每一个通道的全局信息，公式如下： 全局信息通过激励层
（论文翻译）Squeeze-and-Excitation Networks (通道注意力CVPR2018)
qq_39214409的博客
05-09 997
背景：卷积神经网络的目的是通过局部感受野融合空间信息（图像中像素的排列和位置）和通道信息来提取具有更多信息的特征。挑战：如何提升网络的表示能力？提出新方法：我们聚焦在通道关系并提出SE block，它可以通过通道间的依赖关系动态调整通道特征。贡献我们证明了通过不断的SE block堆叠，可以得到极具泛化性的网络结构，并适用于多种数据集。SE block相对于已有的SOTA方法中有着最小额外计算开销。SENets在排名前五的方法中误差降低到2.2512.251\%2.251%。
SE net：Squeeze-and-Excitation Networks论文解读
Sesen的木屋
10-09 1728
近期对有关注意力机制的两篇文章进行了解读。分别是可以嵌入到很多网络结构中去的SE block的提出论文SENet，以及在GAN生成领域引入注意力机制的SAGAN。这两篇文章都是很经典的文章，这里将其详细整理一下。 SE Net：Squeeze-and-Excitation Networks (CVPR2018) 这篇文章的主要贡献是对通道间的依赖关系、各通道特征的权重进行了学习和分配。...
Squeeze-and-Excitation Networks（论文翻译）
MJ17709005513的博客
03-22 4592
摘要 卷积神经网络建立在卷积操作的基础上，它通过在局部感受野中将空间和通道信息融合在一起来提取信息特征。为了提高网络的表示能力，最近的几种方法已经显示出增强空间编码的好处。在这项工作中，我们专注于通道关系并提出了一个新的架构单元，我们称之为“Squeezeand-Excitation”（SE）块，它通过显式建模通道之间的相互依赖关系来自适应地重新校准通道特征响应。我们证明，通过将这些块堆叠在一起，我们可以构建 SENet 架构，该架构在具有挑战性的数据集上泛化得非常好。至关重要的是，我们发现 SE 块以最
Squeeze-and-Excitation Networks
chenaxin的博客
04-07 1万+
摘要 卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。为了提高网络的表示能力，许多现有的工作已经显示出增强空间编码的好处。在这项工作中，我们专注于通道，并提出了一种新颖的架构单元，我们称之为“Squeeze-and-Excitation”（SE）块，通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。通过将这些块堆叠在一起，我们证明了我们可以构建SENet架构，在具有挑战性的数据集中可以进行泛化地非常好。关键的是，我们发现SE块以微小的计算成本
Squeeze-and-Excitation Networks（SE-Net）论文阅读笔记
m0_45935253的博客
12-27 164
To mitigate the problem【特征图上每个单元不能利用对应感受野外的上下文区域信息】，提出“挤压和激励”——SE块，显式地建模信道之间地相互依赖性。​接受嵌入作为输入，并且产生每个通道调制权重的集合。目的是：利用挤压操作聚集的信息，捕获通道相关性。​使得来自网络全局感受野的信息被它的每一层使用，（也可选更复杂聚合技术）生成通道统计信息。​映射输入​到特征图​中，比如：卷积操作。来构造信息特征【多通道卷积】，前面针对。操作通过在每一层的局部感受野内融合。产生了聚集空间维度上特征图的描述符。
SqueezeNet论文详解
qq_38807688的博客
11-27 1670
原文地址： https://arxiv.org/pdf/1602.07360.pdf 网络介绍： 本文提出SqeezeNet。它在ImageNet上实现了和AlexNet相同的正确率，但是只使用了1/50的参数。更进一步，使用模型压缩技术，可以将SqueezeNet压缩到0.5MB，这是AlexNet的1/510。 架构的提出动机（轻量化模型的好处）： 1.提高分布式训练的效...
《Squeeze-and-Excitation Networks》SE-Net通道注意力机制
qq_38109282的博客
09-16 3029
前言 在阅读了一系列Activation Funtion论文之后,其中Dynamic Relu的论文提到了基于注意力机制的网络,因此先来看看经典的SE-Net的原理 Introduction 对于CNN,卷积核在局部感受野中将空间和通道信息融合得到信息组合.通过堆叠一系列非线性交错的卷积层和下采样,CNN能够获取具有全局感受野的分层模式，作为强大的图像描述。 最近的研究表明，网络的性能可以通过显式嵌入学习机制来提高，这有助于捕获空间相关性，而无需需要额外的监督。其中一种方法是由Inception推广的，这表
经典论文-SeNet论文及实践
uncle_ll的博客
09-16 5576
卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。为了提高网络的表示能力，许多现有的工作已经显示出增强空间编码的好处。在这项工作中，我们专注于通道，并提出了一种新颖的架构单元，我们称之为**“Squeeze-and-Excitation”（SE）模块**，通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。通过将这些块堆叠在一起，证明了可以构建SENet架构，在具有挑战性的数据集中可以进行泛化地非常好。关键的是，发现SE块以微小的计算成本为现有的
Face Paper：SeNet论文详解
BigCowPeking
03-23 3949
github: https://github.com/hujie-frank/SENet我是 Momenta 的高级研发工程师胡杰，很高兴可以和大家分享我们的 SENet。借助我们提出的 SENet，我们团队（WMW）以极大的优势获得了最后一届 ImageNet 2017 竞赛 Image Classification 任务的冠军，并被邀请在 CVPR 2017 的 workshop（Beyond...
[Attention]SE-Net论文讲解
急流勇进
01-23 1万+
转自两篇解析，第一篇作者本人的解析，第二篇某位博主的解析 文章1： 链接 编者按：Momenta Paper Reading致力于打造一个自动驾驶学术前沿知识的分享沟通平台，深入浅出让你轻松读懂AI。本次我们分享的主题是ImageNet冠军模型SENet。论文链接：[1709.01507] Squeeze-and-Excitation Network...
SENet学习笔记
热门推荐
xjz18298268521的博客
01-16 3万+
SENet总结 论文：《Squeeze-and-Excitation Networks》 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet 1. 概述   此论文是由Momenta公司所作并发于2017CVPR，论文中的SENet赢得了ImageNet最后一届（ImageNe
Attention机制和SE-net论文总结
Amigo_1997的博客
05-06 4924
attention机制 注意力机制（Attention Mechanism）源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。实现这一能力的原因是人类视网膜的不同部位具有不一样的信息处理能力，即不同部分的敏锐度（Acuity）不同，人类视网膜中央凹部位具有最高的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特...
squeezenet论文详解
alex1801
10-24 1761
根据原作者翻译，进行部分修改、添加，以方便查阅。文章仅作知识整理、分享，如有侵权请联系作者删除博文，谢谢！ 转自：https://blog.csdn.net/u013044310/article/details/80188530 论文地址：aqueezenet论文 SQUEEZENET: ALEXNET-级别精度50X 较少的参数和 < 0.5MB模型大小 摘要 深卷积神经网络 (CNNs) 最近的研究主要集中在提高精度。对于给定的精度级别, 通常可以确定多个 CNN 体系结构, 以达到该精
Squeeze-and-Excitation Networks SE-net
jiachen0212的博客
06-01 1088
ImageNet 2017夺冠架构：SENet   paper传送门参考链接：传送门1               传送门2核心思想我认为是：不再使用传统的对输入通道经卷积后的结果通道们，进行简单的叠加，而是去寻找各通道间的相关性，给予各通道不同的权值，然后再进行加权求和。这个通道间的权值，通过学习得到。上图：  S:首先是压缩，squeeze（）把一个通道的map（尺寸为 mxn ）压缩成一个数...
Squeeze-and-Excitation Networks相关论文
最新发布
03-18
### Squeeze-and-Excitation Networks (SENet) 的实现细节与算法原理 #### 算法原理 Squeeze-and-Excitation Networks 是一种用于增强卷积神经网络性能的技术，其核心思想在于通过学习通道之间的关系来重新校准特征...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值