【论文阅读笔记】BTS-ST: Swin transformer network for segmentation and classification of multimodality breast

最新推荐文章于 2025-06-08 10:58:57 发布
原创 最新推荐文章于 2025-06-08 10:58:57 发布 · 975 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #笔记 #transformer

本文介绍了一种结合SwinTransformer编码器和CNN解码器的新型神经网络SwinUNETR，专用于脑肿瘤的多模态MRI图像分割。在BraTS2021中表现出色，展示了Transformer架构在医疗图像分析中的潜力。

Iqbal A, Sharif M. BTS-ST: Swin transformer network for segmentation and classification of multimodality breast cancer images[J]. Knowledge-Based Systems, 2023, 267: 110393.[代码开源]

本文模型使用Swin Transformer（Encoder）+类Unet（Decoder），由于是BraTS 2021挑战赛作品，使用数据集单一，网络结构图画的很清楚，不做展开记录。

【论文概述】

本文介绍了一种名为Swin UNETR的新型神经网络架构，专门用于利用多模态MRI图像进行脑肿瘤的语义分割。Swin UNETR结合了Swin Transformer（作为编码器）和基于卷积神经网络的解码器，通过不同分辨率的跳跃连接相连。这种架构利用自注意力模块在层次结构中有效地模拟多尺度上下文信息和长距离依赖关系，从而提高了脑肿瘤分割的准确性。在BraTS 2021挑战中，Swin UNETR在验证阶段名列前茅，并在测试阶段展现出了竞争力的性能，显示出其作为一个新类别的分层编码器的Transformer基础模型在脑肿瘤分割任务中的潜力。

【模型结构】

image-20231219085800358

  • Encoder: Swin Transformer
    • 基础架构: Swin UNETR采用Swin Transformer作为其编码器部分。Swin Transformer是一种基于自注意力机制的层次化视觉Transf
最低0.47元/天 解锁文章
【SwinUNETR】《Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI...》译读笔记
墨门
09-22 2595
脑肿瘤的语义分割是涉及多种MRI成像模态的基本医学图像分析任务，其可以帮助临床医生诊断患者并连续研究恶性实体的进展。近年来，全卷积神经网络（FCNNs）方法已成为三维医学图像分割的事实基准。流行的“U形”网络架构已在不同的2D和3D语义分割任务以及多种成像模态上实现了最先进的性能基准。然而，由于FCNN中卷积层的核尺寸有限，其对长距离信息的建模性能并不理想，这会导致其在可变尺寸肿瘤分割中的不足。
Swin UNetR：把 UNet 和 Swin Transformer 结合
Debroon
12-13 1万+
这个层的作用是将Token的数量减少，实现2倍的下采样，同时将特征维度增加到原始维度的2倍。通过这个操作，特征的分辨率增加了2倍，而特征的维度减少到输入维度的1/4。训练过程中，将输入切割为多个小的体素块，并对每个体素块进行两次不同的数据增强操作，然后将它们分别输入到网络的编码器中进行处理，并计算自监督损失。编码器和解码器之间的连接方式。通过使用Patch expanding layer，解码器能够逐渐恢复图像的分辨率，并减少特征的维度，以提供更多的细节和精度，并为后续的特征融合和预测做准备。
Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images
weixin_43921949的博客
10-09 7836
Swin-UNETR
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation论文解读
qq_45041871的博客
01-17 2764
本文介绍了一种新型的基于纯Transformer的U形编解码器用于医学图像分割。为了充分发挥Transformer的强大功能，我们将Swin Transformer块作为特征表示和远程语义信息交互学习的基本单元。广泛在多器官和心脏分割任务上的实验表明，所提出的Swin-Unet具有良好的性能和泛化能力。
[论文笔记] Swin UNETR 论文笔记: MRI 图像脑肿瘤语义分割
yusijinfs的博客
11-21 5521
Swin UNETR 论文笔记: MRI 图像脑肿瘤语义分割
3D卷积网络论文阅读笔记
weixin_44085432的博客
07-07 2128
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
【论文阅读笔记】Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
qq_46056318的博客
01-22 8492
Swin-Unet：用于医学图像分割的类Unet纯Transformer2022年发表在 Computer Vision – ECCV 2022 WorkshopsPaperCode在过去的几年里，卷积神经网络（CNN）在医学图像分析方面取得了里程碑式的成就。特别是基于U型结构和跳跃连接的深度神经网络，已经广泛应用于各种医学图像任务中。然而，尽管CNN取得了优异的性能，但由于卷积运算的局部性，它不能很好地学习全局和远程语义信息交互。
Swin-UNETR模型论文综述
2403_88150975的博客
06-08 576
首先总结一下模型的结构，以及数据处理的流程，模型的结构由Patch Embedding，Position Embedding，Transformer Encoder，MLP Head五个模块组成，模型运作的流程为，先将图片通过Patch Embedding这个模块处理切割成多个patch，并将图片变成张量形式的数据；创建一个CLS Token，加入到patch的序列中；
网络模型之Swin Transformer（2021）
weixin_44342777的博客
10-05 360
Swin transformer 算法原理
深度学习论文学习
qq_59666235的博客
03-18 4079
高光谱图像分类
[深度学习论文笔记]Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
Slientsake的博客
05-26 5万+
Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation Swin-Unet：用于医学图像分割的类Unet纯transformer 论文：https://arxiv.org/abs/2105.05537 代码：https://github.com/HuCaoFighting/Swin-Unet
深度学习网络模型————Swin-Transformer详细讲解与代码实现
guoqingru0311的博客
02-10 9742
经典网络模型系列——Swin-Transformer详细讲解与代码实现
MICCAI‘23 | SwinUNETR-V2：用于3D医学图像分割的带有阶段性卷积的Swin Transformer
小白学视觉
01-07 731
医学图像分割中的Transformer引起了广泛兴趣。与卷积网络（CNN）不同，Transformer使用自注意力机制，没有强烈的归纳偏好。这使得Transformer能够学习长距离依赖关系，具有更强的建模能力。尽管如此，例如SwinUNETR，在一些基准测试中取得了最先进的（SOTA）结果，但缺乏归纳偏好使得Transformer更难训练，需要更多的训练数据，并且对训练方法敏感。在许多临床场景和挑战中，Transformer的性能仍然不如SOTA CNNs，如nnUNet。
【论文阅读笔记】A Recent Survey of Vision Transformers for Medical Image Segmentation
寸先生的AI道路
12-18 2334
同时，还探讨了这些方法在不同医学图像模态（如CT、MRI、X射线等）中的实际应用，以及它们面临的挑战和未来的发展方向。这一部分从四个方面探讨了ViTs在医学图像分割中的应用，包括ViT在编码器（Encoder）、解码器（Decoder）、编码器-解码器中的应用，以及ViT在编码器和解码器之间的应用。本文中规中矩，对涉及到的方法只是简单陈列，并没有细致的优缺点探讨，可以作为寻找对应方向论文的一个参考，笔记中对涉及到的方法根据之前读文经历进行简单的优缺点归纳。ViT在解码器(decoder)中的应用。
Swin Transformer：屠榜各大CV任务的视觉Transformer模型
机器学习社区
05-16 1520
Swin Transformer是一种新型的Transformer架构，专为计算机视觉任务而设计。它引入了基于移动窗口的自注意力机制，并采用了层级式的特征表达方式，使得模型在计算复杂度和性能之间取得了平衡。Swin Transformer 模型在论文Swin Transformer: Hierarchical Vision Transformer using Shifted Windows中提出。Swin Transformer：使用移位窗口的分层视觉Transformer。
[深度学习论文笔记]Brain tumor segmentation with self-ensembled,deeply-supervised 3D U-net neural networks
Slientsake的博客
07-20 3110
论文： Brain tumor segmentation with self-ensembled,deeply-supervised 3D U-net neural networks: a BraTS 2020 challenge solution. 使用自集成、深度监督的3D U-net神经网络的脑肿瘤分割:BraTS 2020挑战解决方案 论文：https://arxiv.org/abs/2011.01045 代码：https://github.com/lescientifik/open brats20
[论文笔记]SwinSUNet: Pure Transformer Network for Remote Sensing Image Change Detection
lmt_like的博客
09-24 3253
SwinSUNet，一个具有Siamese U形结构的纯Swin transformer网络。这是第一个基于纯transformer的CD网络。
Swin-Transformer网络结构详解
热门推荐
霹雳吧啦Wz
11-03 27万+
文章目录0 前言1 网络整体框架2 Patch Merging详解3 W-MSA详解Ω(MSA)\Omega (MSA)Ω(MSA)模块计算量Ω(W−MSA)\Omega (W-MSA)Ω(W−MSA)模块计算量4 SW-MSA详解5 Relative Position Bias详解6 模型详细配置参数 0 前言 Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。Swin Transformer网络是Tran
文献阅读-基于 CNN-Swin Transformer Network 的 LPI 雷达信号识别
qq_43686057的博客
09-05 1257
相比于 CNN 模 型的不变性和局部性，特征之间依赖关系差， Transformer 模型的 SA 机制不受局部相互作用限 制，能够学习最合适任务目标的归纳偏置。④短时傅里叶+GoogleNet/AlexNet，实现调制信号识别。CNN缺陷：不擅长捕捉全局信息，感受野受限，对信噪比要求较高。⑤时频分析+改进AlexNet，实现调制信号识别。⑥扩张残差网络+时频分析，实现辐射源分类。③小波变换+残差网络，实现调制信号识别。①时频图像+CNN，以信号调制识别。②时频分析+CNN，特征提取与分类。
Swin-R: Enhanced Swin Transformer for Dense Regression论文地址，代码地址
最新发布
10-14
我们正在查找"Swin-R: Enhanced Swin Transformer for Dense Regression"的论文地址和代码地址。 根据用户提供的引用资料，并没有直接提到"Swin-R"这篇论文。但是我们可以进行如下推理： 1. 引用[1]是关于Swin ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值