UNetFormer

原创 已于 2025-03-27 16:13:14 修改 · 1.2k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #论文阅读 #深度学习 #计算机视觉

于 2025-03-26 20:28:20 首次发布

UNetFormer: A UNet-like transformer for efficient semantic segmentation of remote sensing urban scene imagery
UNetFormer：一种用于高效遥感城市场景图像语义分割的类UNet变压器模型
论文地址
代码地址

1. 介绍

  • 轻量级设计：UNetFormer使用了ResNet18作为编码器。
  • 全局-注意力机制：通过三个全局-局部Transformer块在解码器中同时捕获多尺度的全局和局部上下文信息。
  • 特征精细化头部（FRH）：通过加权融合浅层的空间细节和深层语义信息，进一步提升分割精度。

这篇论文的基础网络结构是U-Net，编码器使用ResNet18，解码器修改为设计的模块，主要还是使用Transformer，切入点是如果直接使用Transformer的话，会导致计算复杂度增加并且会丢失空间细节信息，因此作者设计的模块通过全局-局部注意力机制模块，解决了计算复杂度、全局上下文的信息和空间细节方面的不足。

2. 网络结构

请添加图片描述

2.1 CNN-based encoder

编码器阶段采用预训练的ResNet18，编码后的特征图通过1 × \times × 1的卷积与解码器对于阶段的特征图进行融合，也就是跳跃连接。具体来说，ResBlock生成的语义信息通过加权求和与解码器阶段的GLTB模块生成的特征进行融合，加权求和操作的公式可以表示为： F F = α ⋅ R F + ( 1 − α ) ⋅ G L E FF=\alpha\cdot RF+(1-\alpha)\cdot GLE FF=α⋅RF+(1−α)⋅GLE，其中， F F FF

最低0.47元/天 解锁文章
Unet复现
mengyiji123的博客
03-02 1444
Unet复现
UNetFormer: A Unified Vision TransformerModel and Pre-Training Framework for 3DMedical Image Segmen
最新发布
qq_51659249的博客
04-03 1320
视觉transformer（ViT）最近因其出色的建模能力而变得流行，特别是在捕获远程信息方面，以及数据集和模型尺寸的可扩展性，这导致了各种计算机视觉和医学图像分析任务中最先进的性能。在这项工作中，我们引入了一个由两种架构组成的统一框架，称为UNetFormer，具有基于3D Swin Transformer的编码器和卷积神经网络（CNN）以及基于transformer的解码器。。所提出的体系结构的设计允许在精度和计算成本之间满足广泛的权衡需求。此外，我们提出了一种。
UNetFormer网络结构介绍
zxsdss的博客
07-02 1144
GLTB构造了两个并行的分支来提取全局信息和局部信息，局部分支采用核大小为1和3的两个相互平行的卷积层来提取局部信息，接在在进行求和前进行两个批处理归一化操作。右边的是解码器部分，使用的是三个global-local Transformer blocks（全局-局部Transformer块），即GLTB和一个feature refinement head（FRH）来构建的一个基于Transformer的轻量的解码器。FF为融合特征，RF为ResBlock产生的特征，GLF是GLTB产生的特征。
U-Net Transformer：用于医学图像分割的自我和交叉注意力模块
weixin_43921949的博客
09-16 7552
U-Transformer
【深度学习遥感分割|论文解读2】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
985小水博的摸鱼日常
11-06 1312
【深度学习遥感分割|论文解读2】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
【深度学习遥感分割|论文解读3】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
985小水博的摸鱼日常
11-07 1869
【深度学习遥感分割|论文解读3】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
unetformer
01-16
### UNetFormer 模型介绍 UNetFormer 是一种结合了 U-Net 和 Transformer 结构优势的深度学习模型，旨在解决高分辨率遥感图像中的复杂场景解析问题。该模型特别适用于城市场景分析，能够有效处理建筑物、道路等结构...
Unetformer
02-05
### Unetformer 模型介绍 Unetformer 是一种融合了 U-Net 架构和 Transformer 结构的深度学习模型，旨在提升图像分割任务中的性能。U-Net 提供强大的局部特征捕捉能力，而 Transformer 则增强了全局上下文理解的...
【深度学习遥感分割|论文解读4】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
985小水博的摸鱼日常
11-07 1379
【深度学习遥感分割|论文解读4】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
【深度学习遥感分割|论文解读1】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
985小水博的摸鱼日常
11-06 1307
【深度学习遥感分割|论文解读1】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
【遥感语义分割】UNetFormer
m0_53700832的博客
07-05 6530
原文：UNetFormer: An UNet-like Transformer for Efficient Semantic Segmentation of Remotely Sensed Urban Scene Imagery Libo Wang1, 2, Rui Li1, Ce Zhang3, 4, Shenghui Fang1*, Chenxi Duan5, Xiaoliang Meng1, 2 and Peter M. Atkinson3, 6, 7 1) School of Remote Se
UNetFormer: 论文阅读
xyz73的博客
10-31 1198
可以看出，局部分支提取的局部上下文保留了丰富的局部特征但缺乏空间一致性，而全局分支捕获的全局上下文具有更一致的特征但缺乏局部性。因此，为了充分利用Transformer的全局上下文提取能力，同时又不会导致较高的计算复杂度，本文提出了一种基于CNN编码器和Transformer解码器的UNet - like Transformer，用于对遥感城市场景图像进行高效的语义分割。卷积层用于提取局部上下文。所提出的高效全局-局部注意力的双分支结构的优势在于，它可以提取足够的全局上下文信息，同时保留细粒度的局部信息。
unetformer实现遥感建筑物提取
weixin_44095417的博客
04-15 2179
此次我们使用的模型为UNetFormer。UNetFormer提出了一种基于transformer的解码器，一种高效的全局-局部注意机制global-local Transformer block (GLTB) ，用于实时城市场景分割。包含了从新西兰基督城的航空图像中提取的超过220,000个独立建筑，图像被分割成了8189个512×512像素的片，其中包含了训练集（130,500个建筑），验证集（14,500个建筑）和测试集（42,000个建筑）。
UNet 代码复现
musiclr的博客
06-17 1304
UNet算法是一种用于图像分割的卷积神经网络（Convolutional Neural Network，简称CNN）架构。它由Olaf Ronneberger等人在2015年提出，主要用于解决医学图像分割的问题。UNet算法的特点是采用了U型的网络结构，因此得名UNet。该网络结构具有编码器（Encoder）和解码器（Decoder）两个部分。编码器负责逐步提取输入图像的特征并降低空间分辨率。解码器则通过上采样操作将特征图恢复到原始输入图像的尺寸，并逐步生成分割结果。
【深度学习遥感分割|论文解读7】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
985小水博的摸鱼日常
11-09 1657
【深度学习遥感分割|论文解读7】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
[Transformer]U-Net Transformer: Self and Cross Attention for Medical Image Segmentation
qq_37151108的博客
10-27 9256
UNet Transformer:UNet结合自注意力和交叉注意力用于医学图像分割AbstractSection I IntroductionSection II U-Transformer NetworkSection III ExperimentsSection IV Conclusion Paper Abstract 对于一些复杂的、低对比度的组织做医学图像分割十分具有挑战性。本文提出一种U-Transformer网络，将Transformer中的self-attention和cross attent
UNet网络详解及代码复现
hasakie的博客
12-16 492
在UNet网络架构的定义中，各个模块的精心设计和巧妙连接构成了其高效图像分割能力的基础。本节将详细分析UNet网络架构定义中的关键模块及其相互连接关系，重点介绍DoubleConv、Down、Up和OutConv等核心组件的代码实现方式。UNet网络架构的核心设计理念是通过编码器-解码器结构，结合跳跃连接，实现高效的图像特征提取和重建。这种设计使得模型能够在保持计算效率的同时，实现高质量的图像分割。
SWIN-UNET网络复现（高效无bug）
ghuuj90uio的博客
03-12 2126
SWIN-UNET训练解决问题
【深度学习遥感分割|论文解读5】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
985小水博的摸鱼日常
11-08 1492
【深度学习遥感分割|论文解读5】UNetFormer：一种类UNet的Transformer，用于高效的遥感城市场景图像语义分割
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值