【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割

最新推荐文章于 2025-11-19 14:07:08 发布
原创 最新推荐文章于 2025-11-19 14:07:08 发布 · 9.8k 阅读 · 147 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #transformer #深度学习 #pytorch

文章提出了一种名为ST-UNet的新框架，将SwinTransformer融入传统的CNN-basedUNet，以增强全局建模能力，特别是对于遥感图像的语义分割任务。ST-UNet采用双编码器结构，利用SwinTransformer和CNN的互补优势，同时通过空间交互模块(SIM)和特征压缩模块(FCM)提高分割精度，解决了小尺度目标分割的挑战。实验在Vaihingen和Potsdam数据集上进行，展示了方法的有效性。

【论文阅读】Swin Transformer Embedding UNet用于遥感图像语义分割

文章目录


Swin Transformer Embedding UNet for Remote Sensing Image Semantic Segmentation

全局上下文信息是遥感图像语义分割的关键

具有强大全局建模能力的Swin transformer

提出了一种新的RS图像语义分割框架ST-UNet型网络(UNet)

解决方案：将Swin transformer嵌入到经典的基于cnn的UNet中

ST-UNet由Swin变压器和CNN并联构成了一种新型的双编码器结构

相应结构：

  • 建立像素级相关性来编码Swin变压器块中的空间信息
  • 构造了特征压缩模块(FCM)
  • 作为双编码器之间的桥梁，设计了一个关系聚合模块(RAM)

数据集的使用：

  • Vaihingen
  • Potsdam

  
  

一、相应介绍

具体作用：

  • 编码器用于提取特征
  • 解码器在融合高级语义和低级空间信息的同时，尽可能精细地恢复图像分辨率

u型网络(UNet)[14]利用解码器通过跳过连接来学习相应编码阶段的空间相关性

利用变压器的编码器-解码器结构来模拟序列中元素之间的相互作用。

本文针对CNN在全局建模方面的不足，提出了一种新的RS图像语义分割网络框架ST-UNet

相应结构层次：

  • 以UNet中的编码器为主编码器，Swin变压器为辅助编码器，形成一个并行的双编码器结构
  • 设计良好的关系聚合模块(RAM)构建了从辅助编码器到主编码器的单向信息流
  • RAM是ST-UNet的关键组件
  • 将SIM卡附加到Swin变压器上，以探索全局特征的空间相关性
  • 使用FCM提高小尺度目标的分割精度

相应贡献：

  • 构建了空间交互模块(SIM)，重点关注空间维度上的像素级特征相关性，SIM还弥补了Swin变压器窗口机制所限制的全局建模能力
  • 提出了特征压缩模块(FCM)，以缓解patch token下采样过程中小尺度特征的遗漏
  • 设计了一个随机存储器，从辅助编码器中提取与chanel相关的信息作为全局线索来指导主编码器

  
  

二、相关工作

2.1 基于CNN的遥感图像语义分割

存在数据集：

  • IEEE地球科学与遥感学会(IGARSS)数据融合大赛
  • SpaceNet比赛
  • DeepGlobe比赛

在检测方面的发展过程

（1）在最开始的发展中，多分支并行卷积结构生成多尺度特征图，并设计自适应空间池化模块聚合更多局部上下文

（2）引入了多层感知器(MLP)，以产生更好的分割结果，最早是在自然语言中使用的。

（3）关注了小尺度特征的特征提取

（4）结合了基于patch的像素分类和像素到像素分割，引入了不确定映射，以实现对小尺度物体的高性能

（5） 通过密集融合策略实现小尺度特征的聚合

（6）明确引入边缘检测模块[43]来监督边界特征学习

（7）提出了两个简单的边缘损失增强模块来增强物体边界的保存

  

2.2 Self-Attention机制

最早的注意力在计算机视觉领域

（1）Zhao et al[45]和Li et al[46]分别给出了视频字幕的区域级注意和帧级注意

（2）SENet[48]通过全局平均池化层表示通道之间的关系，自动了解不同通道的重要性

（3）CBAM[49]将通道级注意和空间级注意应用于自适应特征细化

（4）Ding等[19]提出了patch attention module来突出feature map的重点区域

（5）在GCN[51]框架的每个阶段引入通道注意块，对特征图进行分层优化

（6）[52] 关注小批量图像中的相似对象，并通过自注意机制对它们之间的交互信息进行编码

2.3 Vision Transformer

首次提出用于机器翻译任务[53]，超越了以往基于复杂递归或cnn的序列转导模型

标准transformer由多头自注意(MSA)、多层感知器(MLP)和层归一化(LN)组成

通过分割和扁平化将图像数据转化为一系列tokens

密集的预测任务，ViT仍然

最低0.47元/天 解锁文章
SwinTransformer在语义分割任务中的应用
AI天才研究院
09-30 1360
SwinTransformer在语义分割任务中的应用 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：SwinTransformer，语义分割，Transformer，计算机视觉，深度学习
Swin-Transformer-UNet改进：融合Global-Local Spatial Attention (GLSA) 模块详解
Henry的博客
04-16 1952
Global-Local Spatial Attention (GLSA) 是一种先进的注意力机制模块，专为计算机视觉任务设计，能够同时捕捉全局上下文信息和局部细节特征。该模块通过创新的双分支结构和自适应融合机制，显著提升了特征表示能力。核心设计原理1. 双分支架构全局分支：通过全局平均池化和全连接层建模整个图像空间的长期依赖关系局部分支：通过多尺度卷积操作捕捉不同感受野范围内的局部空间模式2. 自适应融合机制。
基于SwinTransformer+UNet的遥感图像语义分割
热门推荐
白景屹的博客
05-26 2万+
目录摘要1.Introduction 摘要 全局上下文信息（context information）对于遥感图像的语义分割至关重要。然而，现有的大多数方法都依赖于卷积神经网络（CNN），由于卷积运算的局部性（locality），直接获取全局上下文信息充满了挑战性。受具有强大全局建模能力的Swin transformer的启发，我们提出了一种新的 Remote Sensing image 语义分割框架，称为ST-U网络，该框架将Swin transformer嵌入到基于CNN的经典UNet中。ST UNet.
【PyTorch项目实战】Swin-Unet：用于医学图像分割的类Unet纯Transformer模型
最新发布
shinuone的博客
11-19 1126
摘要 本文介绍了Swin-Unet，一种基于纯Transformer架构的医学图像分割模型。Swin-Unet通过将Swin Transformer与U-Net结构相结合，构建了首个完全摒弃卷积的U型分割网络。该方法利用移位窗口自注意力机制(SW-MSA)实现全局上下文建模，同时通过层次化特征提取和多尺度融合保留局部细节。实验表明，Swin-Unet在医学图像分割任务中超越了传统CNN方法，标志着从卷积主导到Transformer驱动的技术过渡。文章还梳理了医学分割技术的发展历程，从早期CNN模型、Tran
【Swin Transformer】Win10使用Swin Transformer做语义分割 (使用自己的数据集 + 图解超详细)
零碎@流年絮语 的博客
05-30 4048
【Swin Transformer】Win10使用Swin Transformer做语义分割 (使用自己的数据集 + 图解超详细)
语义分割Swin Transformer
强化学习曾小健
07-13 2235
语义分割在ADE20K上刷到53.5 mIoU，超过之前SOTA大概4.5 mIoU！ Swin Transformer: Hierarchical Vision Transformer using Shifted Windows (Swin Transformer：使用移位窗口的分层视觉变换器) Transformer从NLP迁移到CV上没有大放异彩主要有两点原因： 1. 两个领域涉及的scale不同，NLP的scale是标准固定的，而CV的scale变化范围非常大。 2. CV比起NLP需要更
语义分割算法分享之Swin-Transformer
xuzz_498100208的博客
10-14 1万+
在ViT等基础之上继续演变的Swin刚刚拿到了ICCV2021的 best paper，经过实际使用体验来看，确实效果较好，从语义分割角度来看，Swin不仅在ADE20K取得了sota的效果，在各个其他场景数据集下都有极为优秀的表现，精度相比PSPnet和deeplabv3+等基于CNN的分割算法都有较大提升。
Swin-Transformer 图像分割实战：使用Swin-Transformer-Semantic-Segmentation训练ADE20K数据集（语义分割）
m0_60575487的博客
04-18 2085
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。如果不要按照我配置的路径配置，可以在这里修改路径。光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
Swin-Unet: Unet-like Pure Transformer forMedical Image Segmentation 医疗图像分割阅读笔记
weixin_43656644的博客
03-22 8073
原文地址：https://arxiv.org/pdf/2105.05537.pdf 收录：CVPR 2021 代码:https://github.com/Beckschen/TransUNet 首篇将transformers用于医疗分割的文章 设计的Idea：UNet +transformers的结合体，使用的具体模块:ViT+ResNet50+skip connection 对关键的公式，和结构图进行了个人的一些注释，供大家参考。 目录 摘要 1 Introduction 2 ...
SUNet: Swin Transformer UNet for ImageDenoising
u013049912的博客
06-15 4830
图像恢复是一个具有挑战性的不适定问题，也是一个长期存在的问题。在过去的几年中，卷积神经网络(cnn)几乎主导了计算机视觉，并在不同层次的视觉任务中取得了相当大的成功，包括图像恢复。然而，最近基于Swin transformer的模型也表现出了令人印象深刻的性能，甚至超过了基于cnn的方法，成为高级视觉任务的最先进的技术。在本文中，我们提出了一个名为SUNet的恢复模型，它使用Swin Transformer层作为我们的基本块，然后应用到UNet体系结构中进行图像去噪。
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows
iwill323的博客
12-22 4143
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows patch partition Linear Embedding swin transformer block
Swin-Unet-Transformer网络-用于语义分割-二分类
03-21
1.增加了数据加载部分，二分类loss 2.必要的中文注释 3.附带了自己的数据集 4.有问题随时联系
手把手教你Swin-Transformer-Semantic-Segmentation(语义分割）训练自己的数据集
autoner的博客
07-26 1万+
一步步教你从搭建环境，到环境测试，到数据集制作，到代码调试，最终到运行并测试结果。跑通Swin-Transformer-Semantic-Segmentation保姆级教程！
推荐项目：ST-UNet —— 融合Swin Transformer的遥感图像语义分割神器
gitblog_00069的博客
06-26 1152
推荐项目：ST-UNet —— 融合Swin Transformer的遥感图像语义分割神器 去发现同类优质开源项目:https://gitcode.com/ 1、项目介绍 ST-UNet 是一个基于 PyTorch 的开源项目，它的设计灵感来源于TransUNet和Swin-Transformer-Semantic-Segmentation，以及SoftPool的技术。这个项目提供了一种新颖的深度...
【亲测免费】 Swin Transformer 语义分割项目教程
gitblog_00049的博客
08-08 876
Swin Transformer 是一个基于分层窗口的视觉变换器，专门用于语义分割任务。该项目是 "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows" 的官方实现。Swin Transformer 通过使用移位窗口技术，提供了比传统多头注意力更高效的局部窗口注意力机制。 ## 项目快速启动 ### 环...
使用Swin-Transformer-Semantic-Segmentation训练自己的数据（语义分割，自己做数据）
weixin_38353277的博客
02-25 1万+
Swin transformer 模型训练
2024年最全python基础(条件判断,input,循环,break,continue)，面试提问的问题及答案
2401_84140580的博客
05-04 1024
①　2000多本Python电子书（主流和经典的书籍应该都有了）②　Python标准库资料（最全中文版）③　项目源码（四五十个有趣且经典的练手项目及源码）④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）⑤ Python学习路线图（告别不入流的学习）小案例name = input(“请输入姓名：”)height = float(input(“请输入身高(米)：”))weight = float(input(“请输入体重（千克）：”))tip = “”
《Swin-Unet: 类Unet的纯Transformer架构用于医学图像分割》学习笔记
学无止境。
12-29 5141
近年来，卷积神经网络（CNN）在医学图像分析领域取得了重要进展。尤其是基于U形架构和跳跃连接的深度神经网络广泛应用于各种医学图像任务。然而，尽管CNN表现优异，但由于卷积操作的局部性，其难以很好地学习全局和长距离语义信息的交互。在本文中，我们提出了Swin-Unet，一种用于医学图像分割的类Unet纯Transformer模型。被切分为Token的图像块输入到基于Transformer的U形编码器-解码器架构中，通过跳跃连接实现局部和全局语义特征的学习。
Swin-Unet：Swin Transformer在医学分割上的首次尝试
weixin_43788575的博客
11-01 8806
Swin-Unet：Swin Transformer在医学分割上的首次尝试 前言 最近小编主要在搞一些医学图像分割的工作，也跑了一下Swin-Unet,之前看到也看到过这篇Swin-Unet(其实五月份就看到了hhhh)，决定搬运过来。实际上从这篇论文可以看到目前医学分割或者检测引入transformer，更常见的做法还是直接嵌入到医学图像常用的网络结构中，比如Unet系列等，没有对transformer block做更多的创新，这主要是由于医学图像数据集太小导致对于transformer本身进行创新难以通
transformer+unet图像分割
02-20
### 如何使用 Transformer 和 U-Net 进行图像分割 #### 方法概述 结合 Transformer 和 U-Net 的方法旨在利用两者的优势来提升医学图像分割的效果。具体来说，这种方法通过将自注意力机制融入到传统的 U-Net 结构中，从而更好地捕捉全局上下文信息和局部细节特征。 #### 关键技术要点 该框架的核心在于设计了一种新的编码器-解码器结构，其中编码器部分采用基于 Transformer 的模块来提取高层次语义特征；而解码器则继续沿用了经典的卷积操作来进行精细化的空间重建[^1]。 对于多器官分割这类需要考虑较大范围背景的任务而言，Transformer 编码器能够有效地获取远距离像素间的关联性，进而改善整体表现。而对于诸如肿瘤检测的小目标分割，则更侧重于解码阶段的应用，因为此时局部精确度变得尤为重要。 #### 实现流程 以下是构建这样一个混合模型的具体步骤： 1. **数据预处理** 对输入的三维CT扫描或其他形式的医疗影像进行标准化处理，包括但不限于尺寸调整、归一化等操作。这一步骤确保了后续计算过程的一致性和稳定性。 2. **构建编码器** 使用类似于 ViT (Vision Transformers) 的架构作为基础单元，在每一层内部加入位置嵌入(position embedding)，并通过堆叠多个带有残差连接(residual connection)的标准 transformer 层形成深层网络。此过程中特别强调对空间维度的关注，即不仅要学习通道间的关系还要保持原有几何特性不变。 3. **搭建解码器** 基于标准 UNet 设计原则——逐步缩小感受野的同时增加分辨率，这里同样采取跳跃链接(skip connections)的方式将低层次的信息传递给高层，以便恢复更加细致的目标边界。值得注意的是，这里的反向传播路径并非完全由传统 CNN 组件构成，而是穿插了一些轻量化版 self-attention blocks 来辅助特征融合。 4. **损失函数的选择** 除了常规使用的交叉熵(cross entropy loss),还可以引入额外项比如 Dice Coefficient 或者 Jaccard Index,这些指标可以直接反映预测结果与真实标签之间的重合程度，有助于优化最终输出质量。 5. **训练策略** 设置合适的超参数组合(如 batch size, learning rate 等.), 并借助迁移学习(pre-trained weights on ImageNet etc.)加速收敛速度; 同时定期保存 checkpoint 文件方便随时中断再续训. ```python import torch.nn as nn from monai.networks.nets import BasicUNet class TransUnet(nn.Module): def __init__(self, in_channels=1, out_channels=2, img_size=(96, 96, 96)): super().__init__() # Define the encoder part with a pre-defined backbone like Swin Transformer or ConvNeXt from timm.models.vision_transformer import VisionTransformer self.encoder = VisionTransformer( patch_size=16, embed_dim=768, depth=12, num_heads=12, mlp_ratio=4., qkv_bias=True, norm_layer=partial(nn.LayerNorm, eps=1e-6), drop_rate=0., attn_drop_rate=0., drop_path_rate=0. ) # Adjust input channel number to match decoder's expectation self.conv_proj = nn.Conv3d(in_channels=in_channels * 16**3, out_channels=out_channels*16**3//img_size[-1], kernel_size=1) # Initialize basic Unet structure for decoding stage self.decoder = BasicUNet(spatial_dims=3, in_channels=out_channels*16**3//img_size[-1], out_channels=out_channels) def forward(self, x): encoded_features = self.encoder(x.flatten(start_dim=-3)) projected_feature_maps = self.conv_proj(encoded_features.view(*encoded_features.shape[:2], *[int(i/16) for i in list(x.size())[2:]])) output = self.decoder(projected_feature_maps.unsqueeze(dim=1)) return output.squeeze() ```
评论 10
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值