Squeeze-and-Attention Networks for Semantic Segmentation解读

最新推荐文章于 2025-03-19 11:15:47 发布
最新推荐文章于 2025-03-19 11:15:47 发布
阅读量2.8k 收藏 6
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42565571/article/details/107146606
版权
本文介绍了Squeeze-and-Attention Networks (SANet) 结构，该结构通过压缩注意力模型强化分割任务的表征能力。SANet结合分组像素注意和像素级预测，通过注意力卷积通道引入空间-通道相互依赖，提升模型精度。在COCO数据集上达到83.2%的精度，PASCAL上达到54.4%的精度。相比传统方法，SA模型更高效，解决了通道注意力的参数问题，并引入像素组注意力，提高了目标像素级预测的准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近将注意力机制整合到分割任务通过强调特征里面的信息中来提升模型的表征能力。但是这些注意力机制忽略了一个暗含的分割子任务并且被卷积核的方格型形状所限制。我们提出了一个新颖的压缩注意力网络（SANet）结构，利用了一个高效的压缩注意力（SA）模型去计算两个分割图突出的特征：1）分组像素注意 2）像素级预测。特别指出，我们提出的压缩注意力模型通过引入注意力卷积通道在常规卷积上加了像素组注意力，所以以有效的方式引入一个空间-通道相互依赖。最终的分割结果由网络输出和四个阶段的多尺度上下文目标像素级预测增强融合所得。我们的SANEet在coco数据集上取得83.2%的精度，在PASCAL取得54.4%的精度。

图1 分割任务两个子任务，一个是像素级的分类，即每个像素都要预测一个标签，一个是像素分组，即预测哪些像素为一组

以前的工作：

1）多尺度上下文，一般包含金字塔或者多尺度通道，通过融合多尺度的上下文信息达到增强分割的目的。一个聚集激活模型被提出通过长范围的上下文信息来缓解普通卷积的特征的位置限制。我们的方法用融合主干残差网络不同阶段的输出来提高稠密连接的多尺度预测。

2）通道注意力，一般就是给特定的通道分配不同的权重达到强调重要通道的目的。缺点：带来额外的参数。而我们的压缩注意模型带有下采样但是并不完全压缩卷积通道，使得网络更灵活。特别是增加的通道

3）像素组注意力，自然语言处理中

最低0.47元/天 解锁文章
杨启航
关注
即插即用篇 | YOLOv8引入PSAModule | 高效金字塔压缩注意力模块
YOLOv8项目贡献者
05-11 2888
YOLOv8引入PSAModule | 高效金字塔压缩注意力模块
Dual Attention Network for Scene Segmentation的两个注意力模块
给时光以生命
02-06 809
https://github.com/junfu1115/DANet
Squeeze-and-Attention Networks for Semantic Segmentation | CVPR2020
qq_41997237的博客
07-03 2263
Squeeze-and-Attention Networks for Semantic Segmentation 语义分割的压缩注意力网络。对SE改进使适用于语义分割 Abstrct： 当前语义分割方向注意力机制的聚合，由于更多的信息特征增强了性能。然而，注意力机制忽视了语义分割的隐藏任务（pixel grouping），并受限于卷积核的网络形状。本文我们提出了一个新的squeeze-and-attention network（SANet），利用了SA module 去解释分割的两个相显著的特点：i）pix
准确率超99%！多尺度特征融合+注意力机制，模型性能起飞！
最新发布
03-19 1456
多尺度特征融合通过构建跨分辨率特征金字塔（如FPN、U-Net++架构），可。而注意力机制则通过动态重标定，，优化了计算资源的分配。当前，多尺度与注意力协同架构是深度学习领域中的一大研究热点。例如木材近红外光谱分类方法BACNN，在测试集上的准确率高达**99.3%**。通过融合频域多尺度分解与注意力机制，该方法建立起，为多模态大模型的特征蒸馏、边缘设备的轻量化部署提供兼具理论完备性与工程可行性的新一代架构。本文精选，供同学们参考学习。整理不易，麻烦大家点个免费的赞~
【论文翻译】Squeeze-and-Attention Networks for Semantic Segmentation
ting的博客
10-05 539
最近将注意力机制整合到分割网络中，通过强调更有信息量的特征，提高了它们的表征能力。然而，这些注意机制忽略了语义分割的隐式子任务，并受到卷积核的网格结构的约束。在本文中，我们提出了一种新的挤压和注意网络（SANet）架构，该架构利用一个有效的挤压-注意（SA）模块来解释分割的两个独特特征： i)像素组注意力和ii)像素级预测。具体来说，所提出的SA模块通过引入“注意力”卷积通道，将像素组注意力施加到传统的卷积上，从而有效地考虑了空间通道之间的相互依赖关系。
Squeeze-and-Attention Networks for Semantic Segmentation
ADICDFHL的博客
10-19 618
在本文中，我们从像素级预测和像素分组这两个独立的维度重新思考了语义分割问题。我们设计了一个SA模块来解决像素分组的隐含子任务。SA模块增强了像素级的密集预测，并考虑了被大多数人忽视的像素组注意力。更重要的是，我们提出了在两个具有挑战性的基准测试上取得有希望的分割性能的SANet。我们希望简单而有效的SA模块以及构建在SA模块之上的SANet能够促进其他研究团队在分割领域的研究。
【论文阅读】Squeeze-and-Attention Networks for Semantic Segmentation（CVPR2020）
络小绎
01-06 2842
论文题目：Squeeze-and-Attention Networks for Semantic Segmentation（用于语义分割的挤压—注意网络） 下载链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9157815&tag=1 代码：未开源 文章贡献： 1.将语义分割分解为两个子任务：像素预测和像素分组； 2.提出了SA模块，能兼顾单个像素的多尺度密集预测，及像素组的空间注意，优于SE； 3...
【翻译笔记】Squeeze-and-Excitation Networks
Kaleidoscope的博客
04-27 4196
卷积神经网络（CNN）的核心模块是卷积块，它使网络能够融合每层局部感受野内的空间和通道信息构建信息特征。 大量的先前研究已经研究了这种关系的空间结构，试图通过在整个特征层次上提高空间编码的质量来增强CNN的表示能力。 在这项工作中，我们将重点放在通道关系上，并提出一个新颖的体系结构单元，我们称之为“挤压和激励”（SE）块，该模块通过显式建模通道之间的相互依赖性来自适应地重新校准通道方式的特征响应。 我们展示了模块堆叠在一起以形成的SENet架构，该架构可以非常有效地概括不同数据集。
视觉注意力机制的发展历程-Attention-Family
CharmsLUO的博客
11-19 2791
目录视觉注意力机制的发展历程-Attention-Family————————————————2016————————————————Attention to Scale-Scale-aware Semantic Image Segmentation(CVPR)————————————————2017————————————————Attention Is All You Need————————————————2018————————————————Graph-Based Global Reasoning
CVPR2022自适应/语义分割：Class-Balanced Pixel-Level Self-Labeling for Domain Adaptive Semantic Segmentation
ssshyeong的博客
11-01 2410
域自适应语义分割的目的是在监督源域数据的情况下学习模型，并在未标记的目标域上产生令人满意的密集预测。为解决上述问题，我们建议直接探索目标域数据的内在像素分布，而不是过度依赖源域。具体来说，我们同时对像素进行聚类，并使用获得的聚类分配对标签进行整流。这个过程以在线的方式完成，因此伪标签可以与分割模型共同进化，而不需要额外的训练。为了克服长尾类的类不平衡问题，我们采用一种分布对齐技术，使簇分配的边缘类分布接近于伪标签的边缘类分布。所提出的方法，即类平衡像素级自标记(CPSL)
Using Fully Convolutional Networks for Semantic Image Segmentation
Image semantic segmentation is a computer vision task that aims to assign each pixel in an image to a semantic category, such as "person," "car," or "building." Unlike image classification, the goal ...
Squeeze-and-Excitation Networks（SENet）学习笔记
qq_43437453的博客
04-21 733
卷积操作是卷积神经网络(CNNs)的核心构造块，它通过融合每一层局部接受域（感受野）内的空间和信道信息使网络构建信息特征。大量先前的研究已经调查了这种关系的空间成分，试图通过在其特征层次中提高空间编码的质量来提升CNN的表征能力。将重点放在通道关系上提出一个新的架构单元——“Squeeze-and-Excitation”(SE)块。通过显式地建模通道之间的相互依赖，自适应地重新校准信道特征响应。（1）SE模块可以堆叠在一起，形成SENet架构，在不同的数据集上非常有效地泛化。
Squeeze-and-Excitation Networks 论文学习
calvinpaean的博客
05-30 426
Introduction 人们已经证明卷积网络可以有效地解决诸多计算机视觉任务。在网络的每一个卷积层上，每个输入通道都有一组滤波器来表示附近空间连接的模式 — 通过局部感受野将 spatial 和 channel-wise 的信息融合起来。通过交错地使用一系列的卷积层，非线性函数以及下采样算子，CNN 可以输出图像的特征，这些特征能很好地捕捉到各层级的模式，进而获得全局理论上的感受野。计算机视觉的...
CVRP 2020-Semantic Segmentation
John's Blogs
06-24 1033
语义分割 对图像中每一个像素进行语义级分类，上图人物是红色，车辆是蓝色，树木是绿色，建筑是灰色等。不区分不同的带有相同语义的个体。因为语义分割需要进行像素级分类，所以标注成本很高。 论文列表 语义分割（6篇） Severity-Aware Semantic Segmentation With Reinforced Wasserstein Training Squeeze-and-Attention Networks for Semantic Segmentation Spatial Pyramid
语义分割--(PAN)Pyramid Attention Network for Semantic Segmentation
热门推荐
DFan的NoteBook
08-30 1万+
Pyramid Attention Network for Semantic Segmentation Pyramid Attention Network for Semantic Segmentation 原文地址：PAN 备注： 这篇文章和DFN类似。 Introduction Abstract 论文提出了Pyramid Attention Network(PAN)网络...
CVPR 2020 论文大盘点-语义分割篇
我爱计算机视觉
06-20 1万+
图像分割应用广泛，在CVPR 2020 论文中所占比例很高，可说是一大热门，有110多篇相关论文，本文盘点CVPR 2020 所有语义分割（Semantic Segmentation）相...
极简笔记 Pyramid Attention Network for Semantic Segmentation
Hibercraft的博客
06-16 9779
极简笔记 Pyramid Attention Network for Semantic Segmentation 本文核心提出PAN，提出Feature Pyramid Attention module（FPA）和Global Attention Upsample module（GAU），引入注意力机制用于语义分割。 文章认为现有分割ASPP模型会导致grid artifact；以及pyr...
Squeeze-and-Excitation Networks论文翻译——中文版
SnailTyan
11-22 8245
文章作者：Tyan 博客：noahsnail.com  |  优快云  |  简书 声明：作者翻译论文仅为学习，如有侵权请联系作者删除博文，谢谢！ 翻译论文汇总：https://github.com/SnailTyan/deep-learning-papers-translation Squeeze-and-Excitation Networks ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值