【论文复现】SwinUnet在遥感数据中的实验效果

【论文阅读】Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation

  Swin-Unet:最早用于医学图像分割的类Unet-Transformer ，使用相应的Swin-Unet在遥感数据集进行相应的测试

  卷积神经网络(cnn)在医学图像分析方面取得了里程碑，提出了Swin-Unet，它是一个类unet的纯Transformer

相应特点：

• 标记化的图像patch被输入到基于transformer的Ushaped编码器-解码器架构中
• 具有跳跃连接
• 局部全局语义特征学习

  Swin Transformer作为编码器来提取上下文特征，设计了一种基于对称Swin Transformer 的补丁扩展层解码器

  对特征图进行上采样操作，恢复特征图的空间分辨率

  纯基于Transformer 的u型编码器-解码器网络优于全卷积或Transformer 与卷积结合的方法

一、介绍及作用

  Swin-Unet是第一个纯基于transformer的u型架构，由编码器、bottleneck、解码器和跳过连接组成，使用bottleneck 的网络结构很方便改变维度。灵活设计网络，并且减小计算量。

  编码器、bottleneck和解码器都是基于Swin Transformer区块构建的

相应操作：

• 解码器利用斑patch扩展层对提取的上下文特征进行上采样
• 多尺度特征进行跳跃连接融合
• 恢复特征映射的空间分辨率

作用：

• 跳过连接的对称编码器-解码器架构，实现了从局部到全局的自关注;在解码器中，全局特征被上采样到输入分辨率
• 设计了一种patch扩展层，在不使用卷积和插值运算的情况下实现上采样和特征维的增加
• 对于Transformer，跳过连接也是有效的，构造了一个纯基于Transformer的带有跳过连接的u型编码