第二十八篇 SeNet模型解析

已于 2023-06-29 06:34:34 修改
阅读量9k 收藏
点赞数
分类专栏： 深度学习精讲与实战（2025） 文章标签： 计算机视觉 深度学习 人工智能 神经网络 pytorch
于 2023-06-28 21:03:28 首次发布
不能复制，转发
本文链接：https://blog.youkuaiyun.com/m0_47867638/article/details/131444746
版权
SENet是一种创新的神经网络结构，通过Squeeze-and-Excitation模块学习特征通道的权重，增强了模型对特征的利用率。该模型在ImageNet竞赛中取得显著成果，能有效建模通道间依赖，且易于融入其他网络架构，如ResNet。SE模块包括全局平均池化、全连接层和Sigmoid激活，以实现特征的重标定。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、SENet概述

​ Squeeze-and-Excitation Networks（简称 SENet）是 Momenta 胡杰团队（WMW）提出的新的网络结构，利用SENet，一举取得最后一届 ImageNet 2017 竞赛 Image Classification 任务的冠军，在ImageNet数据集上将top-5 error降低到2.251%，原先的最好成绩是2.991%。

作者在文中将SENet block插入到现有的多种分类网络中，都取得了不错的效果。作者的动机是希望显式地建模特征通道之间的相互依赖关系。另外，作者并未引入新的空间维度来进行特征通道间的融合，而是采用了一种全新的「特征重标定」策略。具体来说，就是通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。

通俗的来说SENet的核心思想在于通过网络根据loss去学习特征权重，使得有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。SE block嵌在原有的一些分类网络中不可避免地增加了一些参数和计算量，但是在效果面前还是可以接受的 。Sequeeze-and-Excitation(SE) block并不是一个完整的网络结构，而是一个子结构，可以嵌到其他分类或检测模型中。

了解本专栏 订阅专栏 解锁全文
SENet架构-通道注意力机制
冲出仁川，走出马德里，故事还会再继续
08-16 2956
  SENet 是 ImageNet Challenge 图像识别比赛 2017 年的冠军，是来自 Momenta 公司 的团队完成。他们提出了 Squeeze-and-Excitation Networks（简称 SENet）。SENet 不是独立的模型设计，只对模型的一种优化。一般 SENet 都会结合其它模型一起使用，比如 SENet 用于 ResNet-50 中我们就把这个模型称为 SE-ResNet-50，比如 SENet 用于 Inception-ResNet-v2 中我们就把这个模型称为 SE
MnasNet架构解析与复现-神经架构搜索
冲出仁川，走出马德里，故事还会再继续
08-17 622
  为移动设备设计卷积神经网络 (CNN) 具有挑战性，因为移动模型需要小而快，但仍要准确。尽管在所有维度上都致力于设计和改进移动 CNN，但当需要考虑如此多的架构可能性时，很难手动平衡这些权衡。在本文中，我们提出了一种自动移动神经架构搜索 (MNAS) 方法，该方法明确地将模型延迟纳入主要目标，以便搜索可以识别出在准确性和延迟之间取得良好折衷的模型。与之前的工作不同，延迟是通过另一个通常不准确的代理（例如 FLOPS）来考虑的，我们的方法通过在手机上执行模型来直接测量现实世界的推理延迟。为了进一步在灵活性
【小白学PyTorch】12 SENet详解及PyTorch实现
忽逢桃林的博客
09-19 1348
文章来自微信公众号【机器学习炼丹术】。我是炼丹兄，有什么问题都可以来找我交流，近期建立了微信交流群，也在朋友圈抽奖赠书十多本了。我的微信是cyx645016617，欢迎各位朋友。 文章目录1 网络结构2 参数量分析3 PyTorch实现与解析 上一节课讲解了MobileNet的一个DSC深度可分离卷积的概念，希望大家可以在实际的任务中使用这种方法，现在再来介绍EfficientNet的另外一个基础知识—，Squeeze-and-Excitation Networks压缩-激活网络 1 网络结构 可以看出来
视频理解调研笔记 | 2021年前视频动作分类发展脉络
秋山丶雪绪的博客
07-31 1203
视频理解实际是做视频动作分类，类似图像分类，输入为视频（图像序列），输出为类别。数据集类别数视频数平均时长链接UCF-101101133207.21sPaperDownloadHMDB-515168492~5sPaperDownloadSports-1M48711331585m36sPaperDownload40030624510sPaperDownloadSmth-Smth1742208474sPaperDownload。
注意力机制：SEnet and CABD and BAM
qq_41950533的博客
04-20 2863
注意力机制是源于nlp，在这篇论文中主要使用的是squeeze and excitation（压缩和激活）模块。 优点：可以学习使用全局信息来选择性地强调信息特征和抑制无用的特征。 se结构简单，轻量化，可以直接放在最先进的框架中，而且计算简单，只是稍微增加了计算的复杂度。 自动学习，而不是手工设计。 #SEnet 0.基础知识 0.1 Feedforword 结构 Feedforword 结构中主要起作用的是激活函数，通过激活函数增加模型的非线性学习能力；一般网络都是一个线性学习套一个激活函数增加它的学
SENet模型原理及代码介绍
qq_43449643的博客
04-13 1130
SE注意力机制
详解ImageNet 2017夺冠架构SENet
Sweet_Harbour的博客
10-03 4814
本文转载至机器之心专栏，作者：胡杰，原文地址：http://www.sohu.com/a/161633191_465975       本届 CVPR 2017大会上出现了很多值得关注的精彩论文，国内自动驾驶创业公司 Momenta 联合机器之心推出 CVPR 2017 精彩论文解读专栏。除此之外，Momenta 还受邀在 CVPR 2017 的 ImageNet Workshop 中发表演讲，介
【卷积神经网络发展历程】从LeNet、AlexNet到ResNet、SENet
gogo小Sa的专栏
06-30 2万+
    经典的LeNet诞生于1998年。然而之后CNN的锋芒开始被SVM等手工设计的特征盖过。随着ReLU和dropout的提出，以及GPU和大数据带来的历史机遇，CNN在2012年迎来了历史突破–AlexNet，从此CNN呈现爆炸式发展。     从此，Deep Learning一发不可收拾，ILSVRC每年都不断被Deep Learning刷榜，如图1所示，随着模型变得越来越深，Top-5...
卷积神经网络的卷积核参数如何更新_笔记之《解析卷积神经网络》
weixin_39884100的博客
11-23 5824
引言：《解析卷积神经网络》是 @魏秀参 博士撰写的深度学习实践手册，主要以卷积神经网络为主体，可以在魏博士个人主页获取电子版，解析卷积神经网络——深度学习实践手册。之前和学弟约定好，《解析卷积神经网络》作为暑假需要看的资料之一，近日花费数小时阅读了一番，基本涵盖了卷积神经网络的基础概念、实践操作等，内容也不多，平时看看复习一下也不错，这篇文章的目的是为个人复习所用，同时也便于之后在这个基础上丰富卷...
3D目标检测综述
xinxiang7
02-04 5435
主要从技术变更历史、发展路线、数据集、数据融合的方式、当前知名的实验室以及大牛，其中的侧重点等方面介绍。当作是文献阅读的一种记录。有不足之处还请指出。
【3D目标检测】3D Object Detection Using Scale Invariant and Feature Reweighting Networks文献解读（2019）
qq_42575422的博客
11-25 1128
1、 为什么要做这个研究（理论走向和目前缺陷） ? 估计就是为了发论文而写的，看不出要解决什么问题。 2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ? 整体来看本文就是F-PointNet的变种，创新不大。先2D检测器crop点云视锥，然后在视锥内做点云的前背景分类，然后对前景点云做坐标系变换（基于PointNet中的T-net实现）以及做最终的3D框的回归，在最终的3D框的回归时加了通道注意力。 3、 发现了什么（总结结果，补充和理论的关系）? 效果不怎么样，实验也不够充分。 摘要：提出了基于
SENet（Squeeze-and-Excitation Networks）算法笔记
AI之路
09-16 8万+
论文：Squeeze-and-Excitation Networks 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch Sequeeze-and-Excitation(S
理解3D CNN及3D卷积
热门推荐
Lavi的专栏
11-18 8万+
前言 这篇博客主要详细介绍3D CNN框架结构的计算过程，我们都知道3D CNN 在视频分类，动作识别等领域发挥着巨大的优势，前两个星期看了这篇文章：3D Convolutional Neural Networks for Human Action Recognition，打算用这个框架应用于动态表情识别，当时对这篇文章的3 D CNN各层maps的计算不怎么清楚，所以自己另外对3D CNN结构层...
轻量级模块SENet与SKNet详解
卖小鱼干的黑心杂货商
03-26 3万+
SENet & SKNet SENet（Squeeze-and-Excitation Networks）是2017ImageNet分类比赛冠军模型，论文发表于2018年CVPR，目前是CVPR2018引用量最多的论文。SKNet(Selective Kernel Networks)是2019CVPR的一篇文章。二者有一定共通之处，本文将这两个模型放在一起对比分析。 Paper : Sequ...
SENet
qq_28778507的博客
04-22 3912
论文地址：SENet senet：它学习了channel之间的相关性，筛选出了哪些channel的feature作用更大，哪些channel的feature作用更小。它稍稍增加了模型的计算量，但是提点明显。 它首先对图片进行卷积运算，然后对于feature map进行global average pooling（squeeze），把它变成11C的向量，然后通过两层FC（excitation），乘...
VoVNet、VarGNet、PeleeNet：轻量级实时网络（嵌入端）
3D视觉工坊
12-05 1860
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨Tom Hardy@知乎来源丨https://zhuanlan.zhihu.com/p/317399539编辑丨3D视觉工坊最...
还在纠结垃圾分类问题？带你用Python感受ImageNet冠军模型SENet的强大
AI科技大本营
07-07 1027
作者 |beyondma转载自优快云博客本月1日起，上海正式开始了“史上最严“垃圾分类的规定，扔错垃圾最高可罚200元。全国其它46个城市也要陆续步入垃圾分类新时代。...
最后一届ImageNet冠军模型：SENet
小白将
04-05 2394
文章目录前言主体思路Squeeze-and-Excitation (SE) 模块Squeeze操作Excitation操作SE模块在Inception和ResNet上的应用模型效果SE模块的实现小结参考文献 前言 在深度学习领域，CNN分类网络的发展对其它计算机视觉任务如目标检测和语义分割都起到至关重要的作用，因为检测和分割模型通常是构建在CNN分类网络（称为backbone）之上。提到CNN分...
计算机视觉——基于树莓派的YOLO11模型优化与实时目标检测、跟踪及计数的实践
最新发布
知来者逆的博客
05-01 3017
YOLO11模型是专门为边缘设备优化的目标检测模型，与YOLOv8相比，它在显著降低模型复杂度（最多降低37%）的同时，仍保持了较高的检测精度（约85%的平均精度均值）。这种优化使得YOLO11能够在资源受限的树莓派上实现高效的实时目标检测，为边缘设备上的复杂计算机视觉任务提供了可能。其轻量级的模型结构和高效的推理性能，使其成为在树莓派上部署目标检测应用的首选模型之一。
SENet模型原理解析
02-05
### SENet模型工作原理详解 #### 1. 背景介绍 SENet（Squeeze-and-Excitation Network）首次提出于2017年，旨在革新传统神经网络对特征处理的方式。不同于常规的前馈结构，SENet通过引入注意力机制，在每个卷积块后添加一个轻量级的模块来动态调整各个通道的重要性[^2]。 #### 2. Squeeze操作 Squeeze阶段的目标是从输入特征图中提取全局信息。具体来说，对于给定的一个大小为 \(H \times W \times C\) 的特征图，Squeeze操作会对其进行全局平均池化（Global Average Pooling, GAP），得到一个长度为C的一维向量。这个过程有效地压缩了空间维度，保留了每个通道的信息： \[ z_i = f_{sq}(U) = \frac{1}{HW} \sum_{h=1}^{H}\sum_{w=1}^{W} u_{i,h,w}, i\in[1,C] \] 其中\(u_{i,h,w}\)表示第i个通道在位置(h,w)处的激活值[^3]。 #### 3. Excitation操作 接着进入Excitation阶段，该部分负责基于前面获得的全局描述符计算各通道的重要程度。这通常由两个全连接层完成，中间夹带ReLU激活函数以及sigmoid激活函数作为最终输出，形成所谓的门控机制。这样做的目的是为了生成一组介于0到1之间的权重系数，用于后续调节原始特征图中相应通道的重要性: ```python def excitation(squeezed_features, reduction_ratio): reduced_dim = squeezed_features.shape[-1] // reduction_ratio fc1_output = tf.keras.layers.Dense(reduced_dim)(squeezed_features) relu_output = tf.nn.relu(fc1_output) fc2_output = tf.keras.layers.Dense(squeezed_features.shape[-1])(relu_output) sigmoids = tf.sigmoid(fc2_output) return sigmoids ``` 上述代码展示了如何构建excitation子模块，这里采用了两层全连接网络并设置了reduction ratio参数控制降维比例。 #### 4. 特征重标定 最后一步是将上一步产生的权重视作缩放因子应用回原特征图上，即乘法运算。经过此步处理后的特征图能够更好地突出那些有助于当前任务的关键区域或对象特性，同时削弱无关紧要的部分的影响。这种自适应地增强有益特征的方法使得整个框架更加鲁棒且高效。 ```python scaled_feature_maps = feature_maps * excitation_weights[:, None, None, :] ``` 这段简单的Python代码片段说明了如何利用广播机制实现特征重标定的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI智韵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值