SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers

最新推荐文章于 2025-10-27 14:55:07 发布
原创 最新推荐文章于 2025-10-27 14:55:07 发布 · 1.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习 #人工智能

SegFormer是一种新型语义分割网络，采用金字塔Transformer结构作为encoder，并利用轻量级MLP作为decoder。该模型通过重叠patch merging和自注意力机制提高特征提取效率，实验证明其在多个数据集上的性能优于传统卷积网络。

https://arxiv.org/pdf/2105.15203.pdf
文章提出了SegFormer，encoder由金字塔Transformer组成，不使用位置编码，而是使用一个3x3的逐深度卷积。decoder使用了简单的MLP。
因为分类与语义分割有很强的联系，因此设计一个backbone用来分割是很重要的。
思考：Resnet刚开始也是作为分类使用的，然后语义分割也使用Resnet作为backbone，除此以外还有MobileNet。

VIT应用于语义分割有很多架构，而SETR则把VisionTransformer作为语义分割的backbone，PVT则是第一个在Transformer引入金字塔结构。金字塔结构可以产生高分辨率的精细特征图和低分辨率的粗略特征图。

思考：现在很多框架提出目标就是作为backbone来提取特征，传统的卷积作为encoder来提取特征，和transformer作为encoder来提取特征那个效果更好呢？

答案显而易见：如果纯粹为了MIOU，transformer可能更合适，decoder就可以设计的很简单，GPU资源有限的话，Resnet可能更合适，decoder就需要设计的很复杂。

我们看网络的架构：

 1：Segformer相比于VIT可以通过

最低0.47元/天 解锁文章
深度学习论文: SegFormer:Simple and Efficient Design for Semantic Segmentation with Transformers及其PyTorch实现
mingo_敏
10-19 1948
SegFormer使用一种分层特征表示的方法，每个transformer层的输出特征尺寸逐层递减，通过这种方式捕获不同尺度的特征信息。并且舍弃了ViT中的position embedding操作，避免了测试图像与训练图像尺寸不同而导致模型性能下降的问题。在decoder部分采用简单的MLP结构，聚合transformer层不同尺度的特征，可以同时融合局部注意力和全局注意力。
论文阅读：SegFormer: Simple and Efficient Design for SemanticSegmentation with Transformers
qq_53086461的博客
10-18 1546
摘要本文提出了一种简单、高效、强大的语义分割框架SegFormer，它将transformer与轻量级多层感知器(MLP)解码器结合在一起。SegFormer有两个吸引人的特点:1)SegFormer包含了一个新的分层结构的变压器编码器，可以输出多尺度特征。该算法不需要位置编码，避免了在测试分辨率与训练分辨率不同时对位置码进行插值导致性能下降的问题。2) SegFormer避免了复杂的解码器。提出的MLP解码器聚集了来自不同层的信息，从而结合了局部关注和全局关注来呈现强大的表示。
论文学习-SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers
qq_42882457的博客
04-16 2783
目录一、SegFormer: Simple and Efficient Design for Semantic Segmentation with TransformersAbstract1 Introduction2 Related Work3 Method3.1分级Transformer编码器3.2 轻量级 All-MLP 解码器 一、SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers A
【Transformer】16、SegFormer：Simple and Efficient Design for Semantic Segmentation with Transformers
呆呆的猫的博客
12-02 5418
文章目录一、背景和动机二、方法2.1 Hierarchical Transformer Encoder2.2 Lightweight ALL-MLP Decoder2.3 和 SETR 的区别三、效果四、代码 本文收录于 NeurIPS 2021 论文链接：https://arxiv.org/pdf/2105.15203.pdf 代码链接：https://github.com/NVlabs/SegFormer 一、背景和动机 语义分割是计算机视觉任务的基础，又因为分割和分类有强关系，所以产生了从分类网络变
SegFormer算法详解
最新发布
qq_39697468的博客
10-27 1083
SegFormer是NVIDIA提出的高效Transformer语义分割框架，采用无位置编码的分层Transformer编码器和轻量级MLP解码器。其核心创新包括：1）重叠Patch嵌入实现多尺度特征提取；2）引入缩减比的高效注意力机制降低计算量；3）Mix-FFN隐式编码位置信息；4）纯MLP解码器仅0.3M参数。该框架提供从B0(3.8M)到B5(84.7M)的模型家族，B0在512×512分辨率下可达37FPS，在ADE20K等基准上以更少参数量实现SOTA性能，已成功应用于道路分割、地质识别等工业场
【论文讲解】SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers
Sgappti的博客
04-26 1997
SegFormer是一个简单，高效但强大的语义分割框架，它将Transformer与轻量级MLP解码器统一起来。主要特点： 1)一个新的层次结构的Transformer编码器，它输出多尺度特征。它不需要位置编码，从而避免了位置码的插值，当测试分辨率与训练不同时，会导致性能下降。2)避免了复杂的解码器。所提出的MLP解码器聚合了来自不同层的信息，从而结合了局部注意和全局注意，呈现出强大的表示能力。作者证明，这种简单和轻量级的设计是Transformer高效分割的关键。
SegFormer：Simple and Efficient Design for SemanticSegmentation with Transformers阅读笔记
m0_53292725的博客
08-22 657
VIT使用位置编码PE（Position Encoder）来插入位置信息，但是插入的PE的分辨率是固定的，这就导致如果训练图像和测试图像分辨率不同的话，需要对PE进行插值操作，这会导致精度下降。为了解决这个问题CPVT（Conditional positional encodings for vision transformers. arXiv, 2021）使用了3X3的卷积和PE一起实现了data-driver PE。我们认为语义分割中PE并不是必需的。
SegFormer: Simple and Efficient Design for SemanticSegmentation with Transformers
qq_51659249的博客
11-20 1667
提出了一个简单，高效而强大的语义分割框架SegFormer，它将transformer与轻量级多层感知器（MLP）解码器结合在一起。SegFormer1)SegFormer包括一个新颖的分层结构的变压器编码器，输出多尺度特征。它不需要位置编码，从而避免了当测试分辨率与训练分辨率不同时插入位置编码导致性能下降的问题。2) SegFormer避免复杂的解码器。所提出的MLP解码器聚合了来自不同层的信息，从而结合了局部注意和全局注意来呈现强大的表示。我们表明，这种简单和轻量级的设计是有效分割变压器的关键。
SegFormer: Simple and Efficient Design for SemanticSegmentation with Transformers(SegFormer)翻译
wang6562009的专栏
08-05 1498
我们提出了SegFormer，这是一个简单、高效且强大的语义分割框架，它将Transformer与轻量级多层感知机（MLP）解码器相结合。SegFormer具有两个吸引人的特点：1）SegFormer包含一个新颖的层次结构Transformer编码器，该编码器能够输出多尺度特征。它不需要位置编码，从而避免了当测试分辨率与训练分辨率不同时，位置编码的插值导致性能下降的问题。2）SegFormer避免了复杂的解码器。所提出的MLP解码器从不同层聚合信息，从而结合了局部注意力和全局注意力，以产生强大的表示。
论文阅读：SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers
a486259的博客
07-29 5564
我们提出了SegFormer，一个简单，高效但强大的语义分割框架，它将Transformers与轻量级多层感知器(MLP)解码器统一起来。SegFormer有两个吸引人的特点：1)SegFormer包括一个新的层次结构Transformers编码器，输出多尺度特征。它不需要位置编码，从而避免了位置码的插值，当测试分辨率与训练不同时，会导致性能下降。2)SegFormer避免了复杂的解码器。所提出的MLP解码器聚合了来自不同层的信息，从而结合了局部注意和全局注意，呈现出强大的表示。我们证明，这种简单和轻量级的
论文学习笔记 SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers
985小菜鸡
07-25 1376
这篇论文提出了SegFormer，一种简洁、高效且功能强大的语义分割框架，该框架将Transformer与轻量级的多层感知机（MLP）解码器结合在一起。新颖的分层Transformer编码器：这种编码器输出多尺度特征，不需要位置编码，避免了在测试分辨率与训练分辨率不同情况下因位置编码插值导致的性能下降问题。避免复杂解码器：提出的MLP解码器聚合了来自不同层次的信息，结合了局部和全局注意力，从而生成了强大的特征表示。简单轻量的设计是Transformer高效分割的关键。
SegFormer：使用Transformer进行语义分割的简单高效设计
阿木寺的博客
06-01 8386
前言 将 Transformer 与轻量级多层感知 (MLP) 解码器相结合，表现SOTA！性能优于SETR、Auto-Deeplab和OCRNet等网络，代码即将开源！ 注1：文末附【视觉Transformer】交流群 想看更多CVPR 2021论文和开源项目可以点击： CVPR2021-Papers-with-Code ​ SegFormer SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformer
《SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers》
qq_46981910的博客
06-27 1611
SegFormer有两个吸引人的特点：1）SegFormer 包含一种新颖的分层结构 Transformer 编码器，它输出多尺度特征。它不需要位置编码，从而避免了在测试分辨率与训练不同时导致性能下降的位置代码的插值。2) SegFormer 避免了复杂的解码器。所提出的 MLP 解码器聚合来自不同层的信息，从而结合局部注意力和全局注意力来呈现强大的表示。我们表明，这种简单而轻量级的设计是高效分割 Transformer 的关键。
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformer *模型解析及滑坡语义分割实战
一个AI从业者的博客
03-02 1374
SegFormer 是一种基于 Transformer 的语义分割模型，通过结合 多尺度特征融合 和 轻量级解码器，在保持高效性的同时实现了高精度分割。其核心思想是利用 Transformer 提取全局上下文信息，并通过多级特征融合提升细节恢复能力。
【SegFormer(1)】SegFormer Simple and Efficient Design for Semantic Segmentation with Transformers环境适应强
Hali_Botebie的博客
04-19 1525
我们介绍了SegFormer，这是一种简单，有效但功能强大的语义分割框架，它将变压器与轻型多层感知器 (MLP) 解码器统一在一起。我们扩大了我们的方法，以获得从SegFormer-B0到SegFormer-B5的一系列模型，达到比以前的同行明显更好的性能和效率。例如，SegFormer-B4在64M参数的ADE20K上实现了50.3% mIoU，比以前的最佳方法小5倍，2.2% 更好。
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers论文解读
qq_45041871的博客
01-18 1083
我们提出了SegFormer，一个简单，高效而强大的语义分割框架，它将transformer与轻量级多层感知器(MLP)解码器统一起来。SegFormer有两个吸引人的特点:1)SegFormer包括一个新颖的层次结构transformer编码器，输出多尺度特征。它不需要位置编码，从而避免了位置编码的插值，从而导致测试分辨率与训练分辨率不同时性能下降。2) SegFormer避免了复杂的解码器。所提出的MLP解码器聚合来自不同层的信息，从而结合局部注意力和全局注意力来呈现强大的表示。
SegFormer——无需位置编码，轻量级的transformer架构，并有很强的零样本鲁棒性
weiming0的博客
04-13 2876
在本文中，**我们提出了一种简单、干净且功能强大的语义分割方法SegFormer，它包含一个位置编码无关的、分层的Transformer编码器和一个轻量级的AllMLP解码器。但是，position embedding的大小是固定的，因此，当测试的时候输入分辨率与训练的时候的分辨率不一致的话，positional code就需要被插值，导致精度的下降。我们的解码器设计**借鉴了Transformer的非局部注意力，并实现了更大的感受野，而不会变得复杂。因此，设计主干架构一直是语义分割中的一个活跃领域。
《SegFormer：Simple and Efficient Design for Semantic Segmentation with Transformers》论文笔记
m_buddy的博客
08-20 984
介绍：这篇文章提出的分割方法是基于transformer结构构建的，不过这里使用到的transformer是针对分割任务在patch merge、self-attention和FFN进行了改进，使其更加适合分割任务（无需position-encoding，测试图片的尺寸带来的影响更小）对上下文语义信息和局部细节信息的需求并且更加整体模型轻量化，同时得益于transformer强大的上下文感知能力使得对于解码器只使用简单的几层全连接便可达到更好的分割性能。
SegFormer:+Simple+and+Efficient+Design+for+Semantic+Segmentation+with+Transformers代码
02-23
SegFormer是一种简单高效的语义分割模型，它使用了Transformer架构。该模型在语义分割任务中取得了很好的性能。 SegFormer的设计思路是将Transformer应用于语义分割任务，以取代传统的卷积神经网络。相比于传统的卷积神经网络，Transformer具有更强的建模能力和更好的上下文理解能力。 SegFormer的主要特点和设计思路如下： 1. 基于Transformer的编码器：SegFormer使用了Transformer作为编码器，用于提取图像特征。Transformer的自注意力机制可以捕捉全局上下文信息，有助于提高语义分割的准确性。 2. 基于深度可分离卷积的解码器：SegFormer使用了深度可分离卷积作为解码器，用于将编码器提取的特征映射恢复到原始图像尺寸。深度可分离卷积具有较少的参数量和计算量，可以提高模型的效率。 3. 多尺度特征融合：SegFormer通过多尺度特征融合来提高语义分割的性能。它使用了不同大小的感受野来捕捉不同尺度的信息，并将它们融合到最终的预测中。 4. 通道注意力机制：SegFormer引入了通道注意力机制，用于自适应地调整不同通道的重要性。这有助于提高模型对不同类别的区分能力。 SegFormer的代码实现可以在优快云开发的"C知道"平台上找到。你可以在该平台上搜索"SegFormer Simple and Efficient Design for Semantic Segmentation with Transformers"来获取相关代码和实现细节。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值