SETR 学习记录

原创 已于 2024-12-16 11:27:03 修改 · 765 阅读 · 23 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习

于 2024-12-16 11:22:01 首次发布

这篇论文的实验与对实验结果的分析都十分详细，实验部分不仅细节详细，而且实验考虑了多种情况进行对比，可以从实验结果中得到各种结论，

研究背景

当时语义分割最常用的网络结构是FCN的结构：编码器-解码器。用编码器学习特征表示，用解码器进行像素基级别的分类。
基于CNN的模型大多通过堆叠卷积层来构成编码器，可以学习到更加全局/抽象的特征，但有限的感受野依然会限制其在全局上下文信息的表现。
为了克服这些限制，一种方法还是通过卷积操作，例如大的卷积核、特征金字塔等等；另一种方法是在FCN中引入注意力机制，注意力机制可以对图像的全局进行建模，让模型在全局特征上有更好的表现。
但上述方法都没有摆脱FCN结构的性质：编码器不断对输入图像进行下采样，获得用于语义分割的低分辨率特征，然后解码器就将这些低分辨率特征上采样到原始分辨率的分割图中。

贡献

提出了一种encoder的替代方案，用Transformer来替代堆叠的卷积层作为encoder。将输入图像视为一组patch的序列，输入到Transformer中。输入图像在Transformer中不会降低分辨率，这与CNN是有本质不同的。利用Transformer，可以不需要像CNN那样降低分辨率就可以在每层都学习全局特征。
得到Transformer的输出后，使用解码器将分辨率恢复为原始，文中提出了三种复杂程度不同的解码器：Navie、PUP、MLA。

网络

网络的整体结构如图所示，可以看到整个网络由Transformer与Decoder构成。
下面分别介绍encoder与decoder。
在这里插入图片描述

Encoder

网络中使用的encoder为ViT，查看ViT来学习，这里就不过多追溯。
关键是其中的参数，在这里，作者使用的是ViT-Large/16作为编码器，参数:patch_size=16，num_layer=24，embed_dim=1024，num_head=16。
这些参数在decoder中很重要。

Decoder

作者在论文中提出了三种复杂程度不同的解码器，分别为Naive、PUP与MLA。

Naive

通过1x1卷积+ReLU+1x1卷积将通道数变为num_class，然后再通过一个线性上采样恢复为原始分辨率

PUP

首先将Transformer的输出进行reshape：HW/256 x 1024 -> H/16 x W/16 x 1024
然后使用多个卷积层与2x上采样将图像恢复为H x W x num_class
在这里插入图片描述

MLA (Multi-Level feature Aggregation)

①：在Transformer中，按照特定的步长提取出特定的Transformer Layer的输出 Z Z Z，这里以6为步长，提取了 Z 6 , Z 12 , Z 18 . Z 24 Z^6,Z^{12},Z^{18}.Z^{24} Z6,Z12,Z18.Z24，每个尺寸都为HW/256 x 1024
②：对每个 Z Z Z进行Reshape，变为H/16 x W/16 x 1024，然后通过一个1x1的卷积层，通道数减半，变为H/16 x W/16 x 512
③：从第二层开始，每层与上层数据进行融合。
④：首先经过一个3x3的卷积，不改变尺寸与通道数；再经过一个3x3的卷积，通道数减半，变为H/16 x W/16 x 256，最后在经过一个4x的线性上采样，每个 Z Z Z变为H/4 x W/4 x256
⑤：将各个 Z Z Z进行拼接(concat)，变为H/4 x W/4 1024，然后进行一个3x3的卷积，让通道数变为类别数，1024 -> num_class；最后进行一次4x的双线性上采样，让分辨率恢复为原始图像，H x W x num_class
在这里插入图片描述

实验

实验细节

消融实验

在这里插入图片描述
通过分析Table2的数据可以得到以下观点：

  1. Cityscapes数据集中 SETR-PUP表现的最好，这可能是因为MLA不具有特征金字塔那样的优势
  2. 使用ViT-Large的效果优于使用ViT-Base
  3. 虽然在样本为40K时，SETR-PUP-Base的指标低于Hybrid-Base。但是达到80K时，优于Hybrid-Base，这证明了FCN中的编码器是可以被替代的
  4. 预训练模型是重要的。随机初始化的SETR-PUP的IoU很低，使用了预训练的ViT或DeiT，指标就高很多。

在这里插入图片描述

对比实验

对比不同模型在不同数据上的表现
可以得到以下结论:

  1. SeTR模型在不同数据集上都是优于其它的
  2. PUP与MLA在指标上相差，但PUP的实现更加简单，因此很多代码都是使用PuP
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
【深度学习笔记】语义分割神经网络的起源、发展、优缺点以及常用的网络
2401_89898861的博客
03-23 1305
【深度学习笔记】语义分割神经网络的起源、发展、优缺点以及常用的网络
深度学习系列资料总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
论文：SETR（Transformer 语义分割）
cztAI的博客
06-19 4284
摘要 最近的语义分割方法采用全卷积网络(FCN)与编码器解码器的架构。编码器逐步降低空间分辨率，学习更抽象/语义视觉概念更大的接受域。由于上下文建模对分割至关重要，最近的研究集中在增加接受域，通过扩张/收缩的回旋或插入注意模块。然而，基于编码器-解码器的FCN架构保持不变。在本文中，我们的目的是提供一个替代的视角，处理语义切分的序列到序列的预测任务。具体来说，我们部署了一个纯转换器(即，没有卷积和分辨率降低)来将图像编码为一系列补丁。通过在转换器的每一层建模全局上下文，这个编码器可以与一个简单的解码器结合，
计算机视觉语义分割——SETR(Rethinking Semantic Segmentation from a Sequence-to-Sequence view with Transformers)
weixin_51454889的博客
01-26 1291
本周学习了计算机视觉语义分割领域中——SETR（Segmentation Transformer），其通过将语义分割任务重新定义为一个基于Transformer的序列到序列预测问题。SETR创新性地引入了纯Transformer结构，抛弃了传统语义分割模型中广泛使用的卷积操作和下采样过程。通过将图像分解为patch嵌入序列并结合空间位置编码，SETR的编码器能够在全局范围内建模上下文信息，从而克服传统FCN架构中感受野受限的问题。
【亲测免费】 SETR (Semantic Segmentation with Transformers) 安装与使用指南
最新发布
gitblog_00656的博客
11-15 1145
SETR 是一个基于Transformer进行语义分割的研究项目，利用了序列到序列的视角来重新思考语义分割任务。以下是其典型的目录结构概览： ```plaintext SETR/ ├── configs # 配置文件夹，存放各种模型配置。 │ ├── SETR # 特定于SETR模型的不同设置。 │ └── ... ├── data
SETR，使用transformer+CNN做语义分割
dawnyi_yang的博客
04-25 3860
摘要 语义分割目前常用的框架还是基于FCN的encoder-decoder架构。encoder的作用是提取更丰富的语义特征，一般会不断地降低特征图的大小来实现更大的感受野。感受野的大小决定了特征是否能足够捕获更大范围的周边信息甚至是全局信息，但对于语义分割，损失分辨率意味着空间损失大，分割效果可能会变差。因此文章提出用将语义分割视为序列到序列的预测任务作为替代。 文章地址：Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspec
【深度学习】SETR：基于视觉 Transformer 的语义分割模型
fengdu78的博客
07-06 1万+
VisualTransformerAuthor：louwillMachine Learning Lab 自从Transformer在视觉领域大火之后，一系列下游视觉任务应用研究也随...
SETR 阅读笔记
记录
11-07 1992
SETR是一篇CVPR2021的语义分割论文，论文将于语义分割视为Seq2Seq的预测任务，提出了一种解决语义分割问题的新思路。
深度学习模型试跑(七):SETR(Swin-Transformer-Semantic-Segmentation版)
qq_33642342的博客
07-14 2933
文章目录一.前言二.环境搭建1.安装cuda和对应的cudnn2.安装vs20193.安装pytorch4.安装mmcv 和 mmsegmentation5.拷贝MMSegmentation三.测试四.训练 一.前言 源码地址: 论文相关源码 本片是基于最近比较红的SwinTransformer下的一个子分支做的，所以这篇主要记录我的搭建流程。 os: win10 cuda: 11.4 GPU: RTX3090(30系列显卡最好用最新的cuda, 不然会在编译mmcv-full的时候报错(例如nvcc
【深度学习】语义分割-论文阅读：（ CVPR 2021）SETR：Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspe
zhe470719的博客
04-23 6747
这里写目录标题详情 详情 名称：Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers 单位：复旦, 牛津大学, 萨里大学, 腾讯优图, Facebook 论文：论文 代码：代码
Dart + Flutter 学习笔记
qq_33365152的博客
06-16 801
Dart + Flutter 学习笔记、Flutter、Dart
SETR-pytorch:SETR模型的实现，原始论文
05-23
塞特-火炬 由于原始论文（使用变压器从序列到序列的角度重新思考语义分割）没有官方代码，因此我使用pytorch实现了SETR-Progressive UPsampling（SETR-PUP）。 原始论文： 维生素 Vit模型也已实现，您可以将其用于图像分类。 用法SETR from SETR . transformer_seg import SETRModel import torch if __name__ == "__main__" : net = SETRModel ( patch_size = ( 32 , 32 ), in_channels = 3 , out_channels = 1 , hidden_size = 1024 ,
计算机视觉算法——基于Transformer的语义分割（SETR / Segmenter / SegFormer）
weixin_44580210的博客
11-20 1万+
基于Transformer的语义分割方法
SETR 论文笔记
Tianchao龙虾
09-08 1819
Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers SETR 论文链接: https://arxiv.org/abs/2012.15840 一、 Problem Statement 传统的CNN网络在语义分割方面通常是encoder-decoder结构，通过encoder逐渐降低分辨率的大小，增大感知域来获取特征信息。而decoder用于对encoder生成的特征表示进行像素
复旦大学提出SETR：基于Transformer的语义分割
阿木寺的博客
01-01 1万+
本文将语义分割视为序列到序列的预测任务，在ADE20K上排名第一！表现SOTA！性能优于OCNet、GCNet等和Axial-DeepLab-XL网络，代码即将开源！ PS：目前看来，目标检测、实例分割、语义分割主流CV方向均被Transformer"攻克"了 注：文末附【语义分割】和【Transformer】交流群 SETR Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers
[Transformer]SETR:Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Tran
qq_37151108的博客
11-03 890
SETR：从seq2seq的Transformer视角重新思考语义分割AbstractSection I IntroductionSection II Related WorkSection III MethodPart 1 FCN-Based Semantic segmentationPart 2 SETRSection IV ExperimentsSection V ConclusionAppendix
-Visualizations 
2021cvpr
 
From 复旦，牛津，萨里大学，腾讯优图实验
SETR：将transformers用于语义分割
AI数据工厂
03-11 1万+
SETR作为transformer入侵语义分割领域的一个战果，其通过使用transformer代替encoder，从而获取大感受野以充分建模全局上下文信息。这篇博客是SETR的通读与大意翻译。
语义分割文献阅读——SETR：使用Transformer从序列到序列的角度重新思考语义分割
qq_60040306的博客
02-09 1279
本周阅读的论文题目是《Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers》(《使用Transformer从序列到序列的角度重新思考语义分割》)。由于典型的语义分割FCN和编码器-解码器架构以多次下采样损失空间分辨率为代价来抽取局部/全局特征，而固定的网络层会使造成每一层的感受野是受限的，因此要获得更大范围的语义信息，理论上需要更大的感受野即更深的网络结构。
SETR
03-14
目前提供的引用内容并未提及与 `SETR` 相关的技术信息或具体用法。然而，在 C++ 或其他编程语言中，通常不存在名为 `SETR` 的标准库函数或关键字。以下是可能的情况分析： ### 可能的解释 1. **拼写错误** 如果是指某个特定功能或方法名称，则可能是输入有误。例如，常见的设置属性的方法通常是 `setXxx()` 形式的命名约定[^5]。 2. **自定义函数或宏** 在某些项目或框架中，开发者可能会定义类似的标识符作为自定义函数或宏。这种情况下，需查阅项目的源码文档以确认其作用和用法。 3. **领域专用术语** 若 `SETR` 是某一特定领域的缩写或专有名词（如硬件驱动程序、嵌入式开发或其他高级应用），则需要进一步了解该领域的背景知识。 ### 假设场景下的实现示例 假设 `SETR` 是一种用于设置资源的抽象函数，下面是一个简单的伪代码示例来展示如何设计此类接口： ```cpp class Resource { public: void SETR(int value) { // 自定义 SEQR 方法 this->value = value; std::cout << "Resource set to: " << value << std::endl; } private: int value; }; int main() { Resource res; res.SETR(42); // 调用自定义方法 return 0; } ``` 上述代码片段展示了如何在一个类中定义并调用类似于 `SETR` 的成员函数[^6]。 ### 缺乏上下文的信息补充建议 由于当前缺乏关于 `SETR` 的确切描述及其所属环境的具体细节，请提供更多线索以便更精准地解答问题。例如： - 它属于哪种编程语言？ - 是否来自某第三方库或者工具链？ ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值