学习笔记--目标分类10 SENet

SEBlock：通道注意力机制
最新推荐文章于 2025-10-08 17:02:37 发布
原创 最新推荐文章于 2025-10-08 17:02:37 发布 · 880 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了SEBlock，一种用于卷积神经网络的通道注意力机制模块。SEBlock由压缩（squeeze）和激励（excitation）两部分组成，通过全局池化获取通道特征，并利用全连接层调整通道权重，增强网络对通道间依赖性的捕捉能力。SEBlock可以无缝集成到各种网络结构中，提升模型精度而不会显著增加计算成本。

文章目录

1、归纳

本研究提出了压缩（sequeeze）和激励（Excitation）构成的通道维度的attention模块，即插即用并非完整的网络模型。略微增加计算成本。并将其使用在不同的经典网络及轻量化网络上，得到精度验证。

2、论文

相关研究

一、注意力机制、
1数学角度、是一种权重模式进行运算
2卷积角度，利用一些网络层计算得到特征图对应的权重值
3一种即插即用
4本质：设计一些卷积层输出权重值
具体操作为：在原有的模块中再加入一个分支，计算权重，得到的权重再与原来的进行相乘，就得到了具有注意力机制的特征图
二、STNet、
STNet通过spatial transformer将形变的，位置偏离的图像变换到图像中间，使得网络对空间变换更鲁棒
在这里插入图片描述在这里插入图片描述

三、attention resnet、
一般注意力都需要额外加分支，此处的注意力只要在一个前向过程中提取模型的attention就可以了
在这里插入图片描述
T(x)*（M(x)+1）即T(x)*M(x)+T(x)残差思想
四、CBAM
在这里插入图片描述

ILSVRC

2017结束，错误率达到2.25
在这里插入图片描述

SE block

1squeeze：global information embedding
采用全局池化，即压缩H和W到1*1，利用1个像素来表示通道，实现低维嵌入
2excitation：Adaptive Recalibration
采用两个全连接层：中间的神经元个数为C/r，两边的神经元个数为C，第一个FC用relu，第二个FC用sigmoid。r实验后16比较好
3scale：将得到的权重向量与通道的乘法
在这里插入图片描述

不同的block

SE block只重构特征图，不改变原来的结构
在这里插入图片描述

在这里插入图片描述

SE Block的使用及带来的参数量

每个residual block后嵌入SE block
在这里插入图片描述
在这里插入图片描述

注意

1论文中block有的地方也称module
2消融实验ablation study

推荐论文

1可视化卷积结果，帮助理解卷积
2CAM、Grad-CAM、Grad-CAM++

spark-aixin
关注
AI人工智能领域目标检测的目标分类技术
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
06-06 1045
在AI的“视觉感知”家族中，目标检测是核心任务之一（比如自动驾驶识别行人/车辆、安防摄像头追踪可疑人员）。而目标分类（判断“这是什么”）是目标检测的“灵魂模块”——就像你在超市货架前，不仅要找到可乐（检测位置），还要确定它是“可口可乐”还是“百事可乐”（分类）。本文将聚焦目标分类的技术细节，覆盖从基础原理到前沿应用的全链路知识。
基于卷积的图像分类识别（七）：SENet
极光喵的博客
05-15 1742
SENet，由胡杰于2017.9提出，其通过显式地建模卷积特征通道之间的相互依赖性来提高网络的表示能力。即，通道维度上的注意力机制。SE模块仅需微小的计算成本，却产生了显著的性能改进。在ILSVRC2017比赛中，SENet block与ResNeXt结合获得了第一名。
SEnet实战 -- 垃圾分类
weixin_43575791的博客
04-26 1442
有一个文件夹data，下面一个train文件夹，再下面有6个子文件夹，文件夹名称分别是每种垃圾图片的类别，每个类别下面有该类垃圾的图片。数据预处理过程比较简单，只进行了大小的调整，全部缩放到224x224。采用SEnet网络训练进行分类，加注意力机制后准确率会稍高一些。（还可以增加的常规的数据增强操作，如翻转、裁剪等）SEnet：resnet18+通道域注意力。SE层结构如下，暂时不讲注意力机制。训练文件train.py代码如下。训练集占70%，测试集占30%
目标检测
Black eyes的博客
03-25 895
文章目录目标检测技术的演变：目标检测评估方法：rcnnSelective SearchSPP Net 目标检测技术的演变： RCNN->SppNET->Fast-RCNN->Faster-RCNN 目标检测评估方法： 检测评价函数 intersection-over-union ( IOU ) IOU就是模型预测的bounding box与标记bounding box的重合率 r...
人工智能的目标分类
考研小钻风
07-01 1941
🍈背景在当今科技迅速发展的时代，人工智能已经成为引领创新和变革的重要力量。对人工智能目标进行准确分类，有助于我们更系统地理解其发展方向和潜在影响。🍈分类的重要性目标分类是对不同类型目标进行系统划分和归类的重要过程。通过目标分类，我们能够更加清晰地理解和组织各种目标，从而更有效地规划和管理我们的行动。目标可以基于多种标准进行分类。从时间维度来看，有短期目标、中期目标和长期目标。短期目标通常是在近期内可实现的具体任务，中期目标则需要在一定时间段内努力达成，而长期目标往往是更宏观、更长远的追求。
【Resnet最强变体】ResNeSt学习笔记 --- ResNeSt: Split-Attention Networks
梦坠凡尘
04-17 1万+
代码：https://github.com/zhanghang1989/ResNeSt 论文：https://hangzhang.org/files/resnest.pdf 尽管图像分类模型最近不断发展，但是由于其简单而模块化的结构，大多数下游应用程序（例如目标检测和语义分割）仍将ResNet变体用作backbone。ResNeSt展示了一个简单的模块：Split-Attention，该块可实现跨...
SE注意力模块学习笔记《Squeeze-and-Excitation Networks》
985小菜鸡
03-26 3491
卷积神经网络建立在卷积运算的基础上，通过在局部感受野内融合空间信息和通道信息来提取信息特征。为了提高网络的表示能力，最近的几种方法显示了增强空间编码的好处。作者专注于通道关系，并提出了一种新的架构单元，称之为“挤压-激励”(SE)块，该单元通过明确建模通道之间的相互依赖性自适应地重新校准通道级别(channel-wise )的特征响应。作者证明，通过将这些块堆叠在一起所构建的 SENet 架构，在具有挑战性的数据集上泛化得非常好。
（SENet）Squeeze-and-Excitation Networks论文阅读笔记
weixin_43422466的博客
08-28 1177
文章目录（SENet）Squeeze-and-Excitation Networks论文阅读笔记2018Abstract1. Introduction2. Related Work3. Squeeze-and-Excitation Blocks3.1 Squeeze: Global Information Embedding3.2 Excitation: Adaptive Recalibration3.3 Instantiations4. Model and Computational Complexity
图像分类经典论文阅读笔记（VGGNet、Google Net、ResNet、DenseNet、SENet、ResNeXt）
weixin_47365232的博客
06-07 1237
下图就是Inception网络架构的两个模块，(a)是原始版本，但是每个Inception模块都会增加维度，最后会导致计算爆炸。为什么维度一定会增加？（结合后面的Concatenate操作）因为存在一个池化层，而池化层的维度和输入的维度是一致的，所以不管其他三个卷积的卷积核个数到底是多少，最终得到的输出结果维度都会增加。如果输入的维度是x，那么输出的维度至少也是x+3。(b)是改进后的模块，通过加入1 x 1卷积，实现降维，可以降低参数量和计算量。
ECA-Net： Efficient Channel Attention for Deep Convolutional Neural Networks 学习笔记
最新发布
qq_34832548的博客
10-08 738
通道注意力已经被证明在卷积神经网络中有着提高性能的巨大潜力。
_嵌入SENet结构的改进YOLOV3目标识别算法.pdf
09-09
_嵌入SENet结构的改进YOLOV3目标识别算法，论文，非常好的学习YOLO的论文。
人工智能与深度学习概念（3）——目标分类-CNN
qq_28810395的博客
07-17 7395
生物视觉原理 生物层面的视觉图像处理流程： 1、像素信号瞳孔摄入，视网膜感光细胞传导刺激反应 2、大脑皮层细胞处理，感知差异构成的边缘和方向 3、神经细胞处理，提炼形状颜色等特征 4、大脑进一步抽象，获得认知 5、与记忆进行匹配，得到判断 机器模拟生物识别，其处理流程为： 1、接受图像数据 2、获取图像特征 3、根据特征获得类别信息 4、输出目标类别 图像通道   模拟眼镜视网膜的感色原理，我们所观察的色彩都是RGB三原色组成，所以一个彩色图片便可有RGB三色的灰度图叠加而成，而每个灰度图片也是一
通俗学AI(1)：深入浅出LeNet，基础目标分类框架
Duke_Rodriguez的博客
08-10 847
通过LeNet网络，领悟卷积层与全连接层的使用逻辑，学习前卷积后全连接的目标分类框架。
SENet: 强化深度卷积神经网络的自适应特征学习
sc1434404661的博客
10-30 677
SENet的引入对深度学习和计算机视觉领域产生了深远的影响，它展示了通过自适应特征学习来提高模型性能的潜力。随着未来的研究和创新，SENet将继续在各种应用领域发挥关键作用，为解决复杂的视觉问题提供强大的工具。同时，SENet的核心思想也可以启发更多关于特征学习和自适应性的研究，推动深度学习领域的发展。需要代码的朋友关注笔者的微信公众号 BestSongC，在后台回复SENet即可获取资料，同时更多的资源如模型改进、可视化界面等都会在此发布。
SENet双塔模型：在推荐领域召回粗排的应用及其它
wenyusuran的专栏
06-08 1963
前言 目前，双塔结构在推荐领域里已经是个常规方法了，在召回和粗排环节的模型选型中，被广泛采用。其实，不仅仅是在推荐领域，在其它领域，双塔结构也已经被越来越多得用起来了。比如，在当代搜索引擎的召回环节，除了常见的经典倒排索引来对Query和Document进行文本字面匹配外，经常也会增加一路基于Bert模型的双塔结构，将用户查询Query和搜索文档，各自通过一个塔形结构来打Embedding，以此增加Query和Document的深层语义匹配能力；再比如，在自然语言处理的QA领域，一般也会在第一步召回环节，
学习笔记--目标分类7 googlenet-V4
weixin_42630613的博客
07-28 321
文章目录1、学习目标1.1、Inception-v4：76层1.2、Inception-ResNet1.3、Scaling of the Residuals2、inception系列3、启发点4、总结 Inception-4，Inception-Resnet and the Impact of residual connections on learning 1、学习目标 1.1、Inception-v4：76层 六大模块： stem、inception-A/B/C、reduction-A/B 1.2、In
深度学习基础学习-注意力机制（计算机视觉中）
小夭的博客
08-10 8498
在网上看到很多关于注意力机制的说明，下面自己总结一下。大佬绕道下面放几个文章的链接这几年来，在是图像处理、语音识别还是自然语言处理等方面都有注意力机制应用。本文主要了解注意力机制在图像中的应用。........................
常用的即插即用的注意力机制模块（SE、CBAM）
热门推荐
weixin_43980331的博客
09-08 2万+
CBAM注意力机制是由通道注意力机制（channel）和空间注意力机制（spatial）组成。 传统基于卷积神经网络的注意力机制更多的是关注对通道域的分析，局限于考虑特征图通道之间的作用关系。CBAM从 channel 和 spatial 两个作用域出发，引入空间注意力和通道注意力两个分析维度，实现从通道到空间的顺序注意力结构。空间注意力可使神经网络更加关注图像中对分类起决定作用的像素区域而忽略无关紧要的区域，通道注意力则用于处理特征图通道的分配关系，同时对两个维度进行注意力分配增强了注意
SENET和GateNet（推荐系统（embedding)）
原来是肖哈哈的博客
11-11 5179
SENET是在论文《Squeeze-and-Excitation Networks》中提出来的，应用在图像处理上的。主要思想：通过建模channel之间的关系来矫正channel的特征，以此提升神经网络的表征能力。（原文：adaptively recalibrates channel-wise feature responses by explicitly modelling interdependencies between channels。在图像中，一个channel可以先当于图像的一种特征。
SENet-master：TensorFlow实现的Squeeze-and-Excitation网络
SENet-master是与Squeeze-and-Excitation Networks（SENet）相关的项目，该项目实现在TensorFlow框架下，允许开发者进行深度学习模型的研究、训练和测试。SENet是一种创新的卷积神经网络架构（CNN），最初由Jie Hu、...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值