SegNeXt：重新思考用于语义分割的卷积注意力

原创 已于 2023-12-05 22:16:41 修改 · 1.6k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #神经网络 #机器学习 #学习 #原型模式

于 2023-08-01 11:06:30 首次发布
本文提出用于语义分割的卷积网络架构SegNeXt，展示卷积注意力编码上下文信息更高效。它具备强大主干网络、多尺度信息交互等特点，通过多尺度卷积特征唤起空间注意力。实验表明，SegNeXt在多个分割基准上大幅提升性能，且计算成本更低。

&原文信息

原文题目：《SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation》

原文引用：Guo M H, Lu C Z, Hou Q, et al. Segnext: Rethinking convolutional attention design for semantic segmentation[J]. Advances in Neural Information Processing Systems, 2022, 35: 1140-1156.

原文链接：https://proceedings.neurips.cc/paper_files/paper/2022/file/08050f40fff41616ccfc3080e60a301a-Paper-Conference.pdficon-default.png?t=N7T8https://proceedings.neurips.cc/paper_files/paper/2022/file/08050f40fff41616ccfc3080e60a301a-Paper-Conference.pdf

0.摘要

        我们提出了SegNeXt，这是一种简单的卷积网络架构，用于语义分割。最近基于transformer的模型在语义分割领域占据主导地位，这是由于自注意力在编码空间信息方面的高效性。在本文中，我们展示了卷积注意力是一种比transformer中的自注意力机制更高效和有效地编码上下文信息的方式。通过重新审视成功的分割模型所拥有的特性，我们发现了几个关键组件，这些组件导致了分割模型性能的提升。这激励我们设计了一种新颖的卷积注意力网络，它使用廉价的卷积操作。没有花哨的东西，我们的SegNeXt在流行的基准测试中显著提高了以前最先进方法的性能，包括ADE20K、Cityscapes、COCO-Stuff、Pascal VOC、Pascal Context和iSAID。值得注意的是，SegNeXt在仅使用其1/10参数的情况下超过了EfficientNet-L2 w/ NAS-FPN，在Pascal VOC 2012测试排行榜上达到了90.6%的mIoU。平均而言，SegNeXt在ADE20K数据集上与最先进方法相比，mIoU提高了约2.0%，计算量相同或更少。

1.引言

        作为计算机视觉中最基础的研究课题之一，语义分割旨在为每个像素分配一个语义类别，在过去的十年中引起了广泛关注。从早期的基于CNN的模型，如FCN和DeepLab系列，到最近的基于transformer的方法，如SETR和SegFormer，语义分割模型在网络架构方面经历了重大革命。

        通过重新审视以前成功的语义分割作品，我们总结了一些不同模型具有的关键特性，如表1所示。基于以上观察，我们认为一个成功的语义分割模型应具备以下特点：

        (i) 强大的主干网络作为编码器。与以前的基于CNN的模型相比，基于transformer的模型的性能改进主要来自更强大的主干网络。

        (ii) 多尺度信息交互。不同于主要识别单个对象的图像分类任务，语义分割是一项密集预测任务，因此需要在单个图像中处理不同大小的对象。

        (iii) 空间注意力。空间注意力允许模型通过对语义区域内的区域进行优先级排序来进行分割。

        (iv) 低计算复杂度。当处理来自遥感和城市场景的高分辨率图像时，这一点尤为重要。

        考虑到上述分析，在本文中，我们重新思考了卷积注意力的设计，并提出了一种高效而有效的用于语义分割的架构。与以前的基于transformer的模型在解码器中使用卷积作为特征优化器不同，我们的方法颠倒了transformer-卷积编码器-解码器的架构。具体而言，对于我们编码器中的每个块，我们改进了传统卷积块的设计，并利用多尺度卷积特征通过简单的逐元素乘法来唤起空间注意力，这是在[25]之后的一种方法。我们发现，这种简单的构建空间注意力的方式比标准卷积和自注意力在空间信息编码方面更有效率。对于解码器，我们从不同阶段收集多级特征，并使用Hamburger [22]进一步提取全局上下文。在这种设置下，我们的方法可以从局部到全局获取多尺度的上下文，实现在空间和通道维度上的适应性，并从低级别到高级别聚合信息。

        我们的网络被称为SegNeXt，除了解码器部分外，它主要由卷积操作组成，解码器部分包含一个基于分解的Hamburger模块[22]（Ham）用于全局信息提取。这使得我们的SegNeXt比之前严重依赖于transformer的分割方法更加高效。如图1所示，SegNeXt在性能上显著优于最近的基于transformer的方法。特别是，在处理来自Cityscapes数据集的高分辨率城市场景时，我们的SegNeXt-S在仅使用约1/6（124.6G vs. 717.1G）的计算成本和1/2（1

最低0.47元/天 解锁文章
Joney Feng
关注
论文阅读-SegNeXt: 重新思考基于卷积注意力的语义分割
一位不是很硕的鉴伪方向硕士
02-20 1186
在本文中，作者重新思考了卷积注意力的设计，并提出了一种高效且有效的语义分割编码器-解码器架构。与之前在解码器中使用卷积作为特征细化器的基于Transformer的模型不同，本文的方法反转了Transformer-卷积 编码器-解码器架构，即对编码器采用了传统卷积模块但引入了多尺度卷积注意力，对解码器采用Hamburger模型（自注意力的替代方案）进一步提取上下文信息。
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation（NeurIPS 22）
dear_queen的博客
09-30 2803
我们介绍了SegNeXt，这是一种用于语义分割的简单卷积网络体系结构。由于在编码空间信息时自我注意的效率，最近基于Transformer的模型已主导语义分割领域。在本文中，我们证明了卷积注意比Transformer中的自注意机制更有效地编码上下文信息。本文对已有成功分割方案进行了重审视并发现了几个有助于性能提升的关键成分，进而促使我们设计了一种新型的卷积注意力架构方案SegNeXt。
SegNeXt: 重新思考基于卷积注意力的语义分割
AI数据工厂
09-22 7108
重新设计基于CNN的语义分割，超越Transformer。
SegNeXt: Rethinking Convolutional Attention Designfor Semantic Segmentation重新思考卷积注意力设计
donkey_1993的博客
09-27 1712
在当前深度学习语义分割中Transformer占据了主流的方向。作者发现卷积神经网络的注意力机制比Transformer更加高效，更加高效地编码上下文信息。通过对比之前提出的优秀的语义分割模型，作者发现了提升模型分割精度的几个关键因素（如下表所示）。通过以上的发现，作者提出的注意力卷积神经网络SegNext，在VOC数据集上mIOU可以达到0.906地精度，在COCO，ADE20K等数据集上都能够达到先进的分割水平。
【NeurIPS 2022】SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation
OUC的搬砖日常
10-05 989
SegFormer 是NeurIPS 2021 提出的方法，如下图所示，是一个 encoder-decoder 结构，encoder 部分是标准的 Transformer，decoder 把之前输出的特征拼接，然后利用MLP得到最终输出。本文提出的 SegNeXt，主要改进了两部分：1）encoder 里 Transformer 结构的 attention 使用多尺度卷积注意力替换；2）改进了 decoder 的结构。
论文学习10：SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation
qq_63318216的博客
03-17 979
在本文中，我们分析了以往成功的分割模型，并总结了它们所具备的优秀特性。基于这些发现，我们提出了一种定制卷积注意力模块（MSCA）和一个CNN 结构的分割网络（SegNeXt）。实验结果表明，SegNeXt 在性能上远超当前最先进的基于 Transformer 的方法。近年来，Transformer 结构的模型在各种分割任务排行榜上占据主导地位。然而，本研究表明，当 CNN 经过合理设计后，仍然能够比 Transformer 方法表现更好。
SegNeXt:重新思考卷积注意设计的语义分割
qq_45745941的博客
07-21 397
提出了SegNeXt，一个用于语义分割的简单卷积网络架构。近年来，基于变换的语义分割模型由于其在空间信息编码中的自注意性而在语义分割领域占据主导地位。在本文中，我们证明了卷积注意是一种比自注意机制更有效的编码上下文信息的方法。通过重新研究成功的分割模型所具有的特征，我们发现了导致分割模型性能提高的几个关键因素。这促使我们设计一种新颖的卷积注意力网络，使用廉价的卷积运算。没有花哨的东西，我们的SegNeXt在流行的基准测试中显著提高了以前最先进的方法的性能。
NeurIPS2022 | SegNeXt，重新思考卷积注意力设计
热门推荐
努力努力再努力的小马
09-22 1万+
在本文中，作者分析了以前成功的分割模型，并找到了它们所拥有的良好特征。基于这些发现，作者提出了一个定制的卷积注意力模块 MSCA 和一个 CNN 风格的网络 SegNeXt。实验结果表明，SegNeXt 在相当大的程度上超越了当前最先进的基于Transformer的方法。最近，基于Transformer的模型已经主导了各种细分排行榜。相反，本文表明，在使用适当的设计时，基于 CNN 的方法仍然可以比基于Transformer的方法表现更好。
论文解读：SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation
a486259的博客
03-08 6184
SegNeXt是一个简单的用于语义分割的卷积网络架构，通过对传统卷积结构的改进，在一定的参数规模下超越了transformer模型的性能，同等参数规模下在 ADE20K, Cityscapes,COCO-Stuff, Pascal VOC, Pascal Context, 和 iSAID数据集上的miou比transformer模型高2个点以上。其优越之处在对编码器（backbone）的的改进，将transformer中模型的一些特殊结构引入了传统卷积中，并提出了MSCAAttention结构，在语义分割中
[论文阅读]SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation
goodenough5的博客
04-05 384
通过重新查看成功的分割模型所拥有的特征，发现了导致分割模型性能提升的几个关键组件。正确设计卷积网络得到很好的结果。
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation
weixin_44296846的博客
10-20 558
我们提出了一个简单的卷积神经网络架构用于语义分割领域。由于Self-attention编码空间信息的高效性，近期Transformer- based模型主导了语义分割领域，但在本文中，我们发现并验证了，相对于Self-attention，卷积注意力是一种更为有效且高效的编码上下文信息的方法。通过重新检视那些成功的分割模型的特征，我们发现了几个提升分割模型性能的关键结构。这些发现引导我们去设计一个仅用轻量的卷积操作的卷积注意力模型。
[论文翻译]SegNeXt: Rethinking Convolutional Attention Designfor Semantic Segmentation
weixin_45922730的博客
02-12 538
我们提出了SegNeXt，一种用于语义分割的简单卷积网络架构。近年来，基于transformer的语义分割模型由于自注意编码空间信息的有效性而在语义分割领域占据主导地位。在本文中，我们表明卷积注意是一种比transformer的自注意机制更高效和有效的编码上下文信息的方法。通过重新检查成功的分割模型所拥有的特征，我们发现了导致分割模型性能改进的几个关键因素。这促使我们设计一个新颖的卷积注意力网络，使用廉价的卷积运算。
深度学习论文: SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation及其PyTorch实现
mingo_敏
10-01 2103
1 采用强骨干网络作为编码器；2 多尺度信息交互；3 空域注意力；4 低计算复杂度。基于此，不同于已有Transformer方案，提出的SegNeXt对编码器模块采用传统卷积模块设计但引入了多尺度卷积注意力，对解码器模块采用了Hamberger(自注意力的一种替代方案)进一步提取全局上下文信息。提出的SegNeXt兼具性能和速度的优势；
文献阅读篇#3：论文品读”SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation“，MSCA模块
hjs314159的博客
03-26 1334
摘要摘要译文：我们提出了SegNeXt，一个简单的用于语义分割的卷积网络架构。最近由于在编码空间信息时的自注意效率而主导了语义分割领域。在本文中，我们证明了卷积注意是一种比自注意机制更有效的上下文信息编码方法。通过分析成功的分割模型所具有的特征，我们发现了导致分割模型性能提高的几个关键因素，这促使我们设计一种新的卷积注意力网络。
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation 论文解读
qq_45041871的博客
11-09 1380
我们提出了SegNeXt，一种用于语义分割的简单卷积网络架构。最近的基于transformer的模型由于在编码空间信息时self-attention的效率而主导了语义分割领域。在本文中，我们证明卷积注意力是比transformer中的self-attention更有效的编码上下文信息的方法。通过重新检查成功分割模型所拥有的特性，我们发现了导致分割模型性能改进的几个关键因素。这促使我们设计一种使用轻量的卷积运算的新型卷积注意力网络。
【SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation论文解读】
qq_42476803的博客
12-02 668
本文提出了卷积注意力以取得和自注意力在语义分割领域相同的效果。实际上就是试图把transfomer的计算过程移植到卷积上，尽可能模仿出transfomer的优秀网络结构。论文PDF地址github代码地址本文声称证明了卷积注意力比transfomer中的自注意力模块能更加高效，有效的对上下文信息进行编码。本文观察并总结了几种优秀的分割模型所拥有的特征，发现了几种改进分割模型性能改进的关键点。
组会论文翻译：SegNeXt：重新思考卷积注意力设计
qq_48588989的博客
09-24 403
在此设置下，本文的方法可以获得从局部到全局的多尺度上下文，实现空间和通道维度的适应性，以及从低到高的信息聚合。其中F表示输入特征。从早期的基于CNN的模型，以FCN和DeepLab系列为代表，到最近的基于Transformer的方法，以SETR和SegFormer为代表，语义分割模型在网络架构方面经历了重大变革。对于编码器中的构建块，作者采用了与 ViT类似的结构，但不同的是没有使用自注意机制，而是设计了一种新颖的多尺度卷积注意(MSCA)模块.如图2(a)所示，MSCA包含三个部分：用于聚合局部信息的。
论文阅读——Rethinking Atrous Convolution for Semantic Image Segmentation
qq_37151108的博客
05-22 3225
论文阅读之DeepLabv3:ASPP 摘要 本文进一步利用空洞卷积用于语义分割，通过空洞卷积实现不同感受野、不同特征分辨率的控制。在ASPP基础上完成不同尺度的特征提取，详情参见在PASCAL VOC 2012的分割结果。 主要复习一下ASPP具体结构。 Section I Introduction 将DNN用于语义分割任务存在两大限制：
 （1）连续池化操作导致特征分辨率下降。在DCNN中往往需要深层次卷积学习更加抽象的高级语义特征，但却会造成空间信息的丢失，对于分类没什么影响，却不适合需要密集预测的语
深度学习论文翻译 -- Rethinking Atrous Convolution for Semantic Image Segmentation
DAOCHI
04-29 1682
摘要：本文中，我们将进一步研究空洞卷积，一个可以明确调整卷积核感受野和控制DCNN输出特征图的分辨率的强有力工具，并被广泛应用在图像语义分割任务。为了解决多尺度目标的分割问题，我们设计通过采用多个级联或者并行的空洞卷积模块，每一个模块中的空洞卷积采样率不一样。更进一步，我们继续讨论了之前讨论的ASPP模块，可以获取多尺度目标特征，通过与图像层级的特征来获取全局信息，最终得到更好的表现。我们给出了具...
语义分割SegNext
最新发布
04-01
### SegNext 语义分割简介 SegNext 是一种高效的语义分割模型，其设计目标是在保持高精度的同时降低计算复杂度。它通过引入轻量化的架构以及优化的空间和通道注意力机制来实现这一目标[^1]。 #### 架构特点 SegNext 的核心在于采用了单层分支结构并结合语义提取变换器（Semantic Extraction Transformer, SET）。这种设计使得模型能够在推理阶段无需额外的分支或复杂的融合模块即可完成任务。相比于其他方法如解耦双边网络（Decoupled Bilateral Network）或者特征共享双边网络（Feature Sharing Bilateral Network），SegNext 更加简洁高效。 ```python import torch from segnext import SegNextModel model = SegNextModel(pretrained=True) def infer(image_tensor): with torch.no_grad(): output = model(image_tensor) return output.argmax(dim=1).cpu().numpy() ``` 上述代码展示了如何加载预训练好的 SegNext 模型并对输入图像张量执行推断操作。注意这里假设 `segnext` 库已经安装完毕并且包含了完整的定义与权重文件。 #### 关键组件分析 - **语义提取变换器 (SET)** 这部分负责捕捉全局上下文信息并通过自注意力机制增强局部区域的理解能力。相比传统卷积神经网络中的固定感受野大小，SET 能够动态调整关注范围从而更好地适应不同尺度的目标对象。 - **单一层次分支** 不同于多分支的设计思路，SegNext 将所有处理逻辑集中在一个统一框架下运行。这样不仅减少了参数数量还加快了前向传播速度。 - **无昂贵融合模块需求** 在许多现有解决方案里都需要专门设计用来综合来自多个路径的信息的 FM(Fusion Module)，而 SegNext 利用了更简单的策略避免此类开销。 ### 性能表现 实验表明，在相同硬件条件下对比多种主流算法时，SegNext 展现出显著优势——既达到了较高的 mIoU 值又维持较低 FLOPs 数值水平。这使其非常适合部署到资源受限环境下的实际应用场景当中去。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值