【Attention in CV】SeNet

最新推荐文章于 2025-09-04 22:24:32 发布
原创 最新推荐文章于 2025-09-04 22:24:32 发布 · 405 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文介绍了一种名为SENet的神经网络结构，其核心思想是对每个输出channel预测一个常数权重进行加权，使模型更关注“有用”的层。在ImageNet数据集上，SENet将Top5错误率降至2.25%。当SENet应用于ResNet中时，SE-ResNet50的分类性能接近ResNet101，显著提升了模型的性能。

ImageNet Top5错误率：2.25%

中心思想：对于每个输出channel，预测一个常数权重，对每个channel加权一下。

这样模型会更加关注“有用”的层

SeNet用在resnet中，提升很大，分类任务重SE-ResNet50性能接近ResNet101

 

【CV中的Attention机制】基础篇-视觉注意力机制和SENet
Tiger数学之家的博客
05-18 1万+
注意力机制 注意力机制（Attention Mechanism）是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。注意力机制本质上与人类对外界事物的观察机制相似。通常来说，人们在观察外界事物的时候，首先会比较关注比较倾向于观察事物某些重要的局部信息，然后再把不同区域的信息组合起来，从而形成一个对被观察事物的整体印象。Attention机制最先应用在自然语言处理方面，主要是为了改进文本之间的编码方式，通过编码-解码之后能学习到更好的序列信息。可以参考一篇
Attention Mechanisms in Computer Vision: A Survey（一）
qq_52302919的博客
04-29 4776
人类可以自然有效地在复杂场景中找到显著区域。在这种观察的激励下，注意力机制被引入计算机视觉，目的是模仿人类视觉系统的这一方面。这种注意机制可以看作是一个基于输入图像特征的动态权重调整过程。注意机制在许多视觉任务中取得了巨大的成功，包括图像分类、目标检测、语义分割、视频理解、图像生成、三维视觉、多模态任务和自监督学习。在这项调查中，作者全面回顾了计算机视觉中的各种注意机制，并根据方法对它们进行分类，如通道注意、空间注意、时间注
SEnet
冷夏的专栏
03-10 1206
论文翻译：https://blog.youkuaiyun.com/Quincuntial/article/details/78605507 原理： 类似于之前的一篇文章， 自动学习每个channel 的权重。 from torch import nn class SELayer(nn.Module): def __init__(self, channel, reduction=16): ...
深度学习篇---SENet网络结构
道阻且长，行则将至。
09-04 1220
SENet是一种通过通道注意力机制增强CNN性能的神经网络。PyTorch实现的核心是构建SE模块，该模块包含压缩（全局平均池化）、激励（全连接层学习权重）和重标定（通道级加权）三个步骤。SE模块可嵌入ResNet的残差块中形成SE-ResNet。实现过程包括：1)定义SEBlock类实现注意力机制；2)构建SEBottleneck残差块；3)组装完整SE-ResNet网络；4)在CIFAR-10等数据集上训练测试。相比普通ResNet，SE-ResNet只需增加约0.03%参数，就能提升1-2%的准确率，
SENET
qq_32256033的博客
04-21 289
layer { name: “conv2_1_global_pool” type: “Pooling” bottom: “conv2_1_1x1_increase” top: “conv2_1_global_pool” pooling_param { pool: AVE engine: CAFFE global_pooling: true } } layer { name: “conv2_1_1x...
SENet
weixin_44736161的博客
01-12 2363
1.模块介绍 Sequeeze-and-Excitation bloack (SENet) 并不是一个完整的网络结构，而是一个子模块，可以嵌到其他分类，分割或检测模型中。作者在文中做了将其嵌入到Resnet，VGG，Inception等网络模型当中，发现效果都有了一定的提升。 SENet的核心思想在于通过网络根据loss去学习特征权重，使得不同Channel中有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。 2. 各个部分详细介绍 Squeez
Attention Mechanisms in Computer Vision: A Survey综述详解
Orange_sparkle的博客
09-27 7545
2021年11月16日，清华大学计图团队和南开大学程明明教授团队、卡迪夫大学Ralph R. Martin教授合作，在ArXiv上发布关于计算机视觉中的注意力机制的综述文章[1]。该综述系统地介绍了注意力机制在计算机视觉领域中相关工作，并创建了一个仓库。该综述论文的第一作者是胡事民教授的博士生国孟昊。他也是计图团队发布的点云Transformer(PCT)一文的第一作者；其他作者还包括清华大学张松海副教授、穆太江博士，以及清华和南开的多名博士生。专门用于收集注意力机制的相关论文。
视觉Attention之SENet和CBAM概述
jackzhang11的博客
10-21 2940
Attention最早出现于NLP中，随着不断的发展，cv中对Attention的应用不断增加，早期两个比较经典的视觉Attention机制分别是SENet和CBAM，分别在17年和18年的大赛中夺魁，本文即对两种算法进行简单的介绍。 SENet 我们可以通过卷积得到feature map，SENet认为这个feature map中每个通道的重要程度是不一样的，应该给其分配权值，即代表每个通道各自的重要程度，具体的结构示意图如下： 在传统的Inception模型的基础上，增加上述module。假设输入是一
CV中的Attention机制总结
热门推荐
一直特立独行的猫
04-11 1万+
SENet注意力机制的理解与PyTorch实现什么是注意力机制 什么是注意力机制 注意力机制是深度学习常用的一个小技巧，它有多种多样的实现形式，尽管实现方式多样，但是每一种注意力机制的核心都是类似的，就是注意力。 注意力机制的核心重点就是让网络关注到它更需要关注的地方。 当我们使用卷积神经网络去处理图片的时候，我们会更希望卷积神经网络去注意应该注意的地方，而不是什么都关注。我们不可能手动去调节需要注意的地方，这个时候，如何让卷积神经网络去自适应的注意重要的物体变得极为重要。 注意力机制就是实现网络自适应注
详解ImageNet 2017夺冠架构SENet
Sweet_Harbour的博客
10-03 4880
本文转载至机器之心专栏，作者：胡杰，原文地址：http://www.sohu.com/a/161633191_465975       本届 CVPR 2017大会上出现了很多值得关注的精彩论文，国内自动驾驶创业公司 Momenta 联合机器之心推出 CVPR 2017 精彩论文解读专栏。除此之外，Momenta 还受邀在 CVPR 2017 的 ImageNet Workshop 中发表演讲，介
Soft (Deterministic) Attention（计算机视觉中）
最新发布
10-18
<think>嗯，用户这次明确聚焦在计算机视觉领域的Soft Attention应用上，看来ta对NLP中的注意力机制已有基础认知，现在想横向扩展到CV方向。之前的对话历史已经详细解释了Soft Attention的通用原理，现在需要针对性适配视觉任务的特点。 用户特意强调“参考站内引用”，但当前上下文没有提供具体文献，因此需要确保理论描述的严谨性。考虑到CV领域注意力机制的论文汗牛充栋，准备重点引用几个经典工作（如SENet、RAM）作为代表性案例。 注意到用户连续两次要求“计算机视觉中的Soft Attention”，说明ta可能正在做相关项目或研究。需要突出以下关键差异点：视觉任务的输入是空间特征图而非序列数据，因此注意力权重的计算维度会从时序变为空间坐标$(i,j)$，同时通道注意力（channel attention）成为重要变体。 准备结构化组织内容：先概述基础形式（类似NLP但处理图像），再分典型应用（图像分类/目标检测等），最后讨论视觉特有的改进方向（如空间注意力与通道注意力的结合）。对于每个子模块，给出具体模型名称（如Squeeze-and-Excitation Networks）和核心公式，例如通道注意力中的： $$w_c = \sigma(W_2\delta(W_1z_c)) $$ 这类表达式能帮助用户理解实现细节。 用户没有要求代码示例，但考虑到工程需求，考虑在最后补充一个简化的空间注意力PyTorch片段，使用自适应池化和卷积层实现基础空间注意力。如果后续用户追问，再展开具体模型的实现。 生成的相关问题将引导深入技术细节：从计算效率问题（线性注意力）到新型架构（ViT中的注意力），覆盖用户可能的研究方向。特别添加“与卷积的联系”这个问题，因为这是CV领域特有的讨论点。 </think>在计算机视觉领域，Soft（确定性）注意力机制通过**对视觉特征进行可微分加权**，使模型能自适应聚焦关键区域。其核心是将NLP中的序列处理思想**迁移到空间维度**，主要应用形式和技术特点如下： --- ### 一、基础工作原理 给定输入特征图 $X \in \mathbb{R}^{H \times W \times C}$（$H \times W$为空间尺寸，$C$为通道数）： 1. **特征变换** 通过卷积或全连接层生成查询（Query）、键（Key）、值（Value）向量： $$ \begin{align*} Q &= W_q X, \quad K = W_k X, \quad V = W_v X \\ \end{align*} $$ 其中 $W_q, W_k, W_v$ 为可学习权重矩阵。 2. **注意力权重计算** 计算空间位置 $(i,j)$ 的权重 $\alpha_{ij}$，使用**缩放点积得分**（Scaled Dot-Product）： $$ \alpha_{ij} = \text{softmax}\left( \frac{Q_{ij}^T K}{\sqrt{d}} \right) $$ $d$ 为向量维度，$\sqrt{d}$ 用于防止梯度消失。 3. **上下文生成** 加权聚合特征： $$ \text{Output}_{ij} = \sum_{m=1}^H \sum_{n=1}^W \alpha_{ij,mn} V_{mn} $$ > **关键区别**：视觉任务中注意力作用于**二维空间坐标**而非一维序列，权重 $\alpha_{ij,mn}$ 表示位置 $(i,j)$ 对 $(m,n)$ 的关注程度[^1]。 --- ### 二、典型计算机视觉应用 #### 1. 图像分类（如SENet） - **通道注意力**（Channel Attention） 对通道维度加权，增强重要特征通道： $$ w_c = \sigma(W_2\delta(W_1z_c)), \quad \text{输出} = w_c \cdot X_c $$ 其中 $z_c$ 为全局平均池化特征，$\delta$ 为ReLU，$\sigma$ 为sigmoid[^2]。 #### 2. 目标检测（如DETR） - **空间注意力** 解码器查询向量（目标候选）与图像特征交互： $$ \text{bbox预测} = f\left( \sum_{i,j} \alpha_{ij} V_{ij} \right) $$ 权重 $\alpha_{ij}$ 决定目标关联的图像区域[^3]。 #### 3. 图像生成（如Attention-GAN） - **多尺度特征融合** 在生成器中使用注意力门控机制： ``` U-Net跳跃连接 + 注意力权重 → 抑制无关背景，增强细节重建 ``` #### 4. 视频理解 - **时空注意力** 联合学习空间位置与时序帧的权重： $$ \alpha_{t,i,j} = \text{softmax}(Q_{t}^T K_{i,j}/\sqrt{d}) $$ 用于动作识别与视频描述生成[^4]。 --- ### 三、视觉任务的独特优化方向 | 挑战 | 解决方案 | 代表模型 | |---------------------|----------------------------|---------------| | 高分辨率计算开销大 | 局部窗口注意力 | Swin Transformer | | 空间结构建模不足 | 卷积+注意力混合架构 | CBAM | | 长距离依赖捕捉困难 | 多头注意力（Multi-Head） | ViT | > **代码示例**：简化版空间注意力模块（PyTorch） ```python class SpatialAttention(nn.Module): def __init__(self, in_channels): super().__init__() self.conv = nn.Conv2d(in_channels, 1, kernel_size=1) def forward(self, x): attn_map = torch.sigmoid(self.conv(x)) # [B,1,H,W] return x * attn_map # 特征加权 ``` --- ### 四、优势与局限 **✓ 优势** - 可解释性强（可视化热图定位关键区域） - 端到端可微分，兼容梯度下降优化 - 灵活处理不规则目标（如遮挡物体） **✗ 局限** - 计算复杂度 $O(H^2W^2)$ 对高分辨率不友好 - 需大量数据训练，否则易过拟合 - 全局建模可能弱化局部细节 > 当前趋势：**线性注意力**（Linear Attention）通过核近似将复杂度降至 $O(HW)$，适用于4K图像处理[^5]。 --- **
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值