【论文阅读笔记】A Recent Survey of Vision Transformers for Medical Image Segmentation

最新推荐文章于 2025-12-02 22:36:09 发布
原创 最新推荐文章于 2025-12-02 22:36:09 发布 · 2.3k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #笔记

Khan A, Rauf Z, Khan A R, et al. A Recent Survey of Vision Transformers for Medical Image Segmentation[J]. arXiv preprint arXiv:2312.00634, 2023.

【论文概述】

本文是关于医学图像分割中视觉变换器（Vision Transformers，ViTs）的最新综述。文中详细回顾了ViTs及其与卷积神经网络（CNNs）结合形成的混合视觉Transformers（Hybrid Vision Transformers，HVTs）在医学图像分割方面的最新进展。文中讨论了这些技术如何通过模拟图像中的长距离关系来提高诊断、治疗计划和疾病监测的准确性。同时，还探讨了这些方法在不同医学图像模态（如CT、MRI、X射线等）中的实际应用，以及它们面临的挑战和未来的发展方向。

本文中规中矩，对涉及到的方法只是简单陈列，并没有细致的优缺点探讨，可以作为寻找对应方向论文的一个参考，笔记中对涉及到的方法根据之前读文经历进行简单的优缺点归纳。

【本文模型的分类方法】

  1. 本文首先对基于ViT的医学图像分割方法进行了全面综述，将其分为两大类：基于ViT的方法(ViT-based methods)和混合视觉Transformers的方法(HVT-based methods)。
  2. 对于基于ViT的方法，进一步将其细分为以下四类：

  • ViT在编码器(encoder)中的应用。

  • ViT在解码器(decoder)中的应用。

  • ViT在编码器-解码器之间(in between encoder-decoder)的应用。

  • 编码器和解码器都采用基于ViT的架构(both the encoder and decoder are ViT-based architectures)。

    3.对于混合视觉Transformers(HVT)的

最低0.47元/天 解锁文章
TED-net: Convolution-free T2T-ViT-based Encoder-decoder Dilation network 阅读笔记（小关键点记录）
wangtao990503的博客
04-15 2565
笔者的研究方向即为低剂量CT去噪，这篇论文可以说是transformer在该领域的一次重要应用，欢迎大家在评论区一起讨论学习。 本文提出了一种基于无卷积T2T-ViT的编码器-解码器膨胀网络（TED-net），以丰富LDCT去噪算法家族。该模型没有卷积块，由一个带唯一transformer的对称编解码块组成。 PS：前置论文可以参考笔者的前两篇阅读笔记，包括：ViT、T2T-ViT。 介绍 作者在这部分并没有展示他的创新点，只是针对前人的优势和不足之处做了分析说明，在此不再赘述。 方法 .
基于Transformer的医学图像分类研究
qq_47896523的博客
03-28 2683
特征金字塔Transformer模型
BHViT: Binarized Hybrid Vision Transformer——BHViT: 二值化混合视觉变换器
Together_CZ的博客
04-17 2024
BHViT: Binarized Hybrid Vision Transformer——BHViT: 二值化混合视觉变换器
8.10论文阅读
qq_45745941的博客
08-10 2126
基于磁共振成像(MRI)的多模态胶质瘤图像提供了肿瘤边界的不同特征，其中多模态特征的提取对于深度学习分割方法来说往往具有挑战性。不同模态特征之间的干扰是制约多模态学习的重要因素。为了有效地提取多模态特征，我们提出了一种自动加权扩张卷积网络(AD-Net)，通过通道特征分离学习来学习多模态脑肿瘤特征。其中，自加权扩张卷积单元(AD单元)利用双尺度卷积特征映射获取信道分离特征。我们在编码层中采用两个可学习参数融合双尺度卷积特征映射，并随着梯度的反向传播自动调整两个可学习参数。
【TPAMI 2022】A Survey on Vision Transformer
Joselynzhao
02-28 4052
文章目录WHATContents2. Formulation of Transformer2.1 Self-Attention2.2 Other Key Concepts in Transformer3 VISION TRANSFORMER3.1 Backbone for Representation Learning3.1.1 Pure Transformer3.1.2 Transformer with Convolution3.1.3 Self-supervised Representation Lea
Class-Aware Generative Adversarial Transformers for Medical Image Segmentation---用于医学图像分割的类感知生成对抗变换
lxw_7754821的博客
10-20 1962
本文介绍了Castformer,一种简单而有效的生成对抗变换器，用于二维医学图像分割。 其关键洞察是集成多尺度金字塔结构，捕捉丰富的全局空间信息和局部多尺度上下文信息。
【论文笔记】A Survey of Visual Transformers（完结）
m0_58678659的博客
04-04 4399
Vision Transformer 综述 论文题目：A Survey of Visual Transformers 论文链接：https://arxiv.org/abs/2111.06091 发表时间：2021年11月 Abstract Transformer是一种基于注意...
Vision Transformers for Single Image Dehazing 论文解读
m0_68604571的博客
12-04 1456
本文介绍了一种名为DehazeFormer的图像去雾方法，该方法基于视觉Transformer模型，并对Swin Transformer进行了改进，包括修改归一化层、激活函数和空间信息聚合方案等。作者在多个数据集上训练了多个变体的DehazeFormer，并证明其有效性。在常用的SOTS室内数据集上，小型模型仅使用25％的参数和5％的计算成本就超过了FFA-Net。此外，作者还收集了一个大规模的遥感去雾数据集以评估该方法处理非均匀雾霾的能力。
HiFormer: Hierarchical Multi-scale Representations Using Transformers forMedical Image Segmentation
qq_63293575的博客
11-20 1150
卷积神经网络（CNN）的本质限制了对长距离依赖性和空间相关性的建模能力。Transformer 擅长捕捉全局特征（解决了上述问题），但其在捕获低级特征（如边缘信息或细节）方面表现不足。的新方法，结合 CNN 和 Transformer 的优势。
transformer再突破！基于Vision Transformer的医学图像分割模型新SOTA！
小白学视觉
01-02 898
近年来，随着Vision Transformer在常规计算机视觉任务，如分类、分割和检测等基础任务上的成功。很多学者尝试将Vision Transformer引入到医学图像分割领域，提出了很多基于Vision Transformer的医学图像分割模型。这些模型取得显著的分割性能提升。1月4日-1月5日，我们邀请到华东地区某高校Assistant Professor，多篇顶会作者王老师为我们带来——...
昇思MindSpore 应用学习-Vision Transformer图像分类
青云的博客
07-21 1303
本案例完成了一个ViT模型在ImageNet数据上进行训练，验证和推理的过程，其中，对关键的ViT模型结构和原理作了讲解。通过学习本案例，理解源码可以帮助用户掌握Multi-Head Attention，TransformerEncoder，pos_embedding等关键概念，如果要详细理解ViT的模型原理，建议基于源码更深层次的详细阅读。
探索医疗影像的未来：Transformer引领的新篇章
gitblog_01091的博客
09-02 537
探索医疗影像的未来：Transformer引领的新篇章 在当今医疗科技的快速发展中，深度学习模型已成为图像分析不可或缺的一部分。特别是，Transformer架构以其革命性的自我注意力机制，正逐渐成为处理复杂数据结构的首选工具。在这股浪潮之中，《Transformer在医学图像分析中的应用》项目，如一颗璀璨新星，照亮了医疗图像处理的前进之路。 项目介绍 该项目汇总并分析了近年来结合Transfor...
【论文阅读笔记】BTS-ST: Swin transformer network for segmentation and classification of multimodality breast
寸先生的AI道路
12-19 975
Swin UNETR结合了Swin Transformer（作为编码器）和基于卷积神经网络的解码器，通过不同分辨率的跳跃连接相连。在BraTS 2021挑战中，Swin UNETR在验证阶段名列前茅，并在测试阶段展现出了竞争力的性能，显示出其作为一个新类别的分层编码器的Transformer基础模型在脑肿瘤分割任务中的潜力。本文模型使用Swin Transformer（Encoder）+类Unet（Decoder），由于是BraTS 2021挑战赛作品，使用数据集单一，网络结构图画的很清楚，不做展开记录。
预训练的VIT为医学图像提供通用表示
qq_45745941的博客
03-26 978
考虑每种模型类型如何在不同的域、不同的初始化类型以及模型容量范围内执行各种任务。研究的主要问题是，原型VIT是否可以用作替代cnn的医疗诊断任务。ViTs和cnn在相同条件下完成各种医学图像分析任务。
论文笔记（一百零六）RynnVLA-002: A Unified Vision-Language-Action and World Model
最新发布
xzs1210652636的博客
12-02 694
本文提出了RynnVLA-002，一个将视觉-语言-动作(VLA)模型与世界模型相统一的创新框架。该模型通过联合学习环境动态和动作规划，实现了视觉理解与动作生成的相互促进。研究采用了混合架构设计，结合离散联合建模和连续的Action Transformer头，有效解决了自回归动作生成中的错误累积问题，提升了泛化能力和推理速度。实验结果表明，在LIBERO仿真基准上，RynnVLA-002取得了97.4%的成功率；在真实机器人任务中，其集成的世界模型使整体成功率提升了50%，显著优于单独的VLA或世界模型。
【论文阅读20】MM-LLMs：多模态大语言模型的最新进展
Ma040713的博客
12-02 595
【摘要】《MM-LLMs:多模态大语言模型最新进展》综述了多模态大语言模型(MM-LLMs)的技术发展。论文提出通用五组件架构：模态编码器、输入投影器、LLM骨干、输出投影器和模态生成器，并详细分析了126个SOTA模型的演进趋势。研究揭示了从单一理解到任意模态转换的发展路径，总结了提升性能的关键因素，如高分辨率输入、高质量微调数据等。最后探讨了未来研究方向，包括扩展更多模态、轻量化部署和减少幻觉等。该研究为理解多模态大模型技术发展提供了系统性参考。
【论文阅读笔记】IDAQ：离线元强化学习中的分布内在线适应
iiiiii11的博客
11-29 380
本文介绍了一种解决离线元强化学习中转移-奖励分布偏移问题的新方法IDAQ，通过理论分析和实验验证展示了其优越性能。
[论文阅读] AI + 编码 | Agint：让LLM编码代理告别“混乱”，用图编译打通自然语言到可执行代码的任督二脉
张较瘦
11-29 741
LLM编码代理日益普及，但面临上下文管理、延迟、可靠性、可复现性及扩展性挑战。本文提出Agint——一款agentic图编译器、解释器与运行时，可将自然语言指令增量转换为类型化、效果感知的代码DAG。Agint引入TEXT→TYPED→SPEC→CODE的显式类型层，结合混合LLM/函数JIT运行时，支持动态图优化、可复现执行及与开发工具的互操作性。其DAG结构确保并发安全性与可组合性，支持小模型低延迟执行、大模型按需调用；还提供dagify、dagent等Unix风格工具链及GUI，赋能技术与非技术用户协
论文阅读《Audit Games with Multiple Defender Resources》
m0_67450301的博客
12-02 526
参数图。
he Missing Point in Vision Transformers for Universal Image Segmentation
07-08
视觉Transformer (ViT) 在通用图像分割任务中已经展现出强大的性能，尤其是在处理全局依赖和长距离上下文建模方面。然而，与传统卷积神经网络（CNN）相比，ViT 仍存在一些缺失点或局限性。 ### 计算资源需求较高 视觉Transformer 的计算复杂度通常与输入图像的分辨率呈平方关系，这使得其在高分辨率图像上的推理速度较慢，并且需要更多的内存支持。这种计算开销限制了其在实时应用或资源受限设备上的部署 [^1]。 ### 对局部细节建模不足 由于 ViT 主要依赖于自注意力机制来捕捉全局上下文信息，因此可能在建模局部细节时表现不如 CNN。卷积操作天然适合提取局部特征并保持空间层次结构，而 ViT 则需要额外的设计（如多尺度架构或引入局部注意力）才能有效保留这些特性 [^1]。 ### 数据依赖性强 视觉Transformer 模型通常需要大规模数据集进行预训练以达到最佳性能。对于小规模数据集，如果没有足够的正则化或增强策略，ViT 容易出现过拟合现象。相比之下，CNN 可以通过手工设计的归纳偏置（inductive bias）更好地泛化到较小的数据集上 [^1]。 ### 缺乏对多尺度特征的有效融合 尽管已有工作尝试将多尺度机制引入 ViT 架构中，但如何有效地整合不同层级的语义信息仍然是一个挑战。传统的 U-Net 或 Feature Pyramid Network (FPN) 等结构能够很好地结合浅层细节和深层语义，而 ViT 在这方面仍需进一步优化 [^1]。 ### 实现复杂度与工程实现难度 视觉Transformer 的实现相对复杂，尤其是在嵌入位置编码、窗口划分、掩码生成等方面。此外，在实际部署过程中还需要考虑硬件兼容性和加速库的支持问题，这对开发者提出了更高的要求 [^1]。 为了缓解上述问题，研究者们提出了多种改进方案，例如 Swin Transformer 中使用的滑动窗口机制、Convolutional Vision Transformer (ConViT) 中引入的卷积增强模块等。这些方法旨在结合 CNN 和 Transformer 的优势，从而提升模型的整体性能 [^1]。 ```python # 示例代码：使用 Hugging Face Transformers 库加载预训练的 SegFormer 模型用于图像分割 from transformers import SegformerForSemanticSegmentation, SegformerFeatureExtractor import torch # 加载预训练模型和特征提取器 model_name = "nvidia/segformer-b0-finetuned-ade-512-512" feature_extractor = SegformerFeatureExtractor.from_pretrained(model_name) model = SegformerForSemanticSegmentation.from_pretrained(model_name) # 输入图像处理 image = Image.open("example_image.jpg") inputs = feature_extractor(images=image, return_tensors="pt") # 推理过程 with torch.no_grad(): outputs = model(**inputs) logits = outputs.logits ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值