【论文笔记】Resvit；TransUNet； MAE； Swin Transformer； Swin-Unet；Multi-scale Transformer

最新推荐文章于 2025-09-15 02:21:56 发布
原创 最新推荐文章于 2025-09-15 02:21:56 发布 · 1.1k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #transformer #深度学习

文章探讨了Transformer在医疗图像处理领域的应用，如ResViT通过结合CNN和Transformer的优势进行图像合成，TransUNet利用Transformer的全局视野和U-Net的细节保留，以及Swin系列Transformer在医学图像分割中的贡献。MT-Net则提出了边缘感知预训练，提升跨模态图像合成效果。

Resvit: Residual vision transformers for multi-modal medical image synthesis(TMI2022) Paper

CNN 被设计为使用紧凑型滤波器执行局部处理，这种归纳偏差(inductive bias)会影响对上下文特征的学习。ResViT的生成器采用了由新型聚合残差( aggregated residual transformer–ART)块组成的中心瓶颈，该块可以协同组合 residual convolutional 和transformer模块。ART 块中的残差连接促进了捕获表征的多样性，而通道压缩模块（ channel compression module）提取了与任务相关的信息。在 ART 块之间引入了权重共享策略以减轻计算负担。引入了统一的实现以避免需要为不同的源-目标模态配置重建单独的综合模型。

ResViT结合了视觉transformer对全局环境的敏感性、CNN的局部化能力以及对抗式学习的现实性,并且鉴别器使用了PatchGan

编码器-信息瓶颈-解码器路径
在这里插入图片描述

TransUNet: Transformers Make Str

最低0.47元/天 解锁文章
【图像去噪】论文精读：TTT-MIM: Test-Time Training with Masked Image Modeling for Denoising Distribution Shifts
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-05 376
论文题目：TTT-MIM: Test-Time Training with Masked Image Modeling for Denoising Distribution Shifts —— TTT-MIM:带掩模图像建模的测试时间训练去噪分布偏移ECCV 2024！端到端训练的神经网络为图像去噪提供了最先进的性能。然而，当应用于训练分布之外的图像时，性能通常会显着下降。在这项工作中，我们提出了一种基于掩模图像建模(MIM)的测试时间训练(TTT)方法来提高分布外图像的去噪性能。该方法称为。
遥感大模型核心技术之Vision Transformer（VIT）及其演进技术研究（2025年9月版）
最新发布
panshengwu的博客
10-10 862
本文系统探讨了Vision Transformer（ViT）及其演进技术在遥感领域的应用。首先解析了ViT的核心理论，包括图像序列化建模、自注意力机制等，并对比其与CNN的差异。针对ViT在高分辨率遥感影像处理中的局限性，重点分析了Swin Transformer的层级化设计和移位窗口机制等关键技术改进。文章详细阐述了ViT系列模型在遥感场景分类、地物分割、目标检测等任务中的优势，并提供了实践方法和策略。
ResViT 代码复现和讲解
buganything的博客
07-22 1104
论文题目：ResViT: Residual vision transformers for multi-modal medical image synthesis一种新的用于多模态医学图像合成的生成对抗方法。
论文解读《TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation》
热门推荐
weixin_37591159的博客
09-29 3万+
论文解读《TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation》 TransUNet:用于医学图像分割的变压器强编码器 发表期刊： 摘要：
超越像素级重构：MAE与Swin Transformer在目标检测中的迁移性能深度对比
gitblog_00410的博客
09-15 622
你是否还在为选择视觉预训练模型而困扰？当MAE（Masked Autoencoders）的像素重构遇上Swin Transformer的层次化注意力，谁能在目标检测任务中展现更强的迁移学习能力？本文将通过实测数据、代码示例和可视化对比，为你揭示两种架构在COCO数据集上的关键差异，读完你将获得： - MAE与Swin Transformer的核心迁移能力对比 - 目标检测任务中的预训练模型选型指南...
TransUNet论文笔记
charles_zhang_的博客
05-05 7968
TransUNet论文笔记 TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation Abstract 医学图像分割是开发医疗保健系统，尤其是疾病诊断和治疗计划的必要前提。在各种医学图像分割任务中，u-shaped体系结构（也称为U-Net）已成为事实上的标准，并取得了巨大成功。然而，由于卷积运算的固有局部性，U-Net通常在显式建模长期依赖性方面存在局限性。设计用于序列到序列预测的transformers已经成为
TransUNet：用于医学图像分割的Transformers强大编码器
阿木寺的博客
02-17 8037
同时具有Transformers和U-Net的优点，性能优于AttnUNet、V-Net等网络，代码刚刚开源！（按这样搞，TransVNet、TransYOLO应该也快来了，手动狗头） 注1：文末附【Transformer】和【医疗影像】交流群 注2：整理不易，欢迎点赞，支持分享！ TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation 作者单位：JHU, 电子科大, 斯坦福大学等 代码：Beckschen/
第12章：基于TransUnet和SwinUnet网络实现的医学图像语义分割：腹部13器官分割（网页推理）
Henry的博客
02-02 1745
TransUNet 是一种用于医学图像分割的混合架构，结合了 Transformer 和 U-Net 的优势。它利用 Transformer 的全局上下文建模能力和 U-Net 的精确定位特性，在医学图像分割任务中实现了优异的性能。TransUNet 的核心组成部分：1. Transformer 编码器：Transformer 编码器用于捕捉输入图像中的长距离依赖关系和全局上下文信息。这在医学图像中尤为重要，因为整个图像的上下文信息对准确分割至关重要。
【医学图像分割】 MIXED Transformer 、DS-TransUNet、Swin-Unet
乐亦亦乐的博客
11-14 1480
论文学习1：SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation
qq_63318216的博客
11-28 2590
图像分割在视觉理解中起着重要作用。近年来，新兴的视觉基础模型在各种任务中持续取得了优异的表现。基于这一成功的经验，在本文，我们可以证明Segment Anything Model 2（SAM2）可以成为应用于U形分割模型的一个功能强大的编码器。我们提出了一个简单但有效的框架，称其为SAM2-UNet，用于实现多功能图像分割。具体来说，此框架采用基于SAM2预训练的Hiera骨干网络作为编码器，而解码器则使用经典的U形设计。此外，我们在编码器中插入适配器，以实现高效的参数微调。
SwinPA-Net: 用于医学图像分割的基于Swin Transformer的多尺度特征金字塔聚合网络【医学图像分割】
weixin_56097064的博客
01-20 2428
本文介绍了一种新颖的基于SwinTransformer的多尺度特征金字塔聚合网络SwinPA-Net，主要用于医学图像分割。SwinPA-Net有效缓解由于各种医学图像中病灶类型差异较大、病灶颜色与周围组织差距较小而难以准确定位病灶的问题。医学图像的精确分割是病理学研究和临床实践的关键挑战之一。然而许多医学图像分割任务存在不同类型病灶之间以及病灶与周围组织之间相似形状和颜色差异较大等问题，严重影响了分割精度的提高。
读论文《ResViT: Residual vision transformers for multi-modal medical image synthesis》
buganything的博客
07-22 1702
具有卷积神经网络(CNN)主干的生成对抗模型最近在许多医学图像合成任务中被建立为最先进的模型。然而，cnn被设计为使用紧凑过滤器执行局部处理，这种归纳偏差损害了上下文特征的学习。在这里，我们提出了一种新的医学图像合成生成对抗方法，即ResViT，它利用了视觉的上下文敏感性以及卷积算子的精度和对抗学习的真实感。ResViT的生成器采用了一个由新型聚合残差变压器(ART)模块组成的中心瓶颈，该模块协同结合了残差卷积和变压器模块。ART块中的残差连接促进捕获表示的多样性，而信道压缩模块提取任务相关信息。
[Transformer]Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation
qq_37151108的博客
10-20 5152
Swin-UNet：基于纯Transformerde的医学图像分割网络 Abstract 近年来CNN已经成为医学图像分析任务的基础结构，尤其是融合了编解码结构和skip-connection的U型网络广泛应用于各种医学图像分析任务。然而受限于卷积操作的局部性，CNN并不能很好的学习全局信息以及长程语义信息。 本文提出的Swin-UNet,是一个纯基于Transformer搭建的U型网络，可以用于医学图像分割任务。
Swin-UNet取标记后的图像patch作为输入，搭建的U型网络包含编解码结构以及skip
【论文阅读笔记】Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Syn
寸先生的AI道路
11-29 1520
Edge-Preserving Masked AutoEncoder：类似于MAE结构，但MAE由于只采用像素级损失，忽略了边缘轮廓情况，对于医学图像会影响性能，因此本文使用双decoder，以多任务方式训练，一个decoder输出还原的像素图像，另外一个输出边缘图，与Sobel算子提取的边缘对照。通过计算这些特征之间的差异，模块生成一个特征一致性损失（Feature Consistency Loss），用于量化合成图像和真实图像在感知层面的差异。）和相应的缺失模态真实图像（记为。
读论文《Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MRImage Synthe》
buganything的博客
07-19 966
论文题目：基于边缘感知的多尺度变压器网络跨模态图像合成。
【知识链接】WGAN Transformer Vit Swin-Transformer Swin-Unet Res-Vit TransUNet MAE Bra ADDA
aaatomaaa的博客
09-21 443
WGAN Transformer Vit Swin-Transformer Swin-Unet Res-Vit TransUNet MAE Bra ADDA
ResViT：项目核心功能/场景
gitblog_00744的博客
03-31 823
ResViT：项目核心功能/场景 ResViT 是一种残差视觉变换器（Residual Vision Transformers），用于多模态医学图像合成。 项目介绍 ResViT 是一个基于 PyTorch 的开源项目，实现了残差视觉变换器模型。该模型在 IEEE Transactions on Medical Imaging 期刊上发表，作者通过结合卷积神经网络（CNN）和变换器（Transfo...
[深度学习论文笔记]TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation
Slientsake的博客
04-14 1万+
[深度学习论文解读] TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation TransUNet：用于医学图像分割的Transformers强大编码器 论文：https://arxiv.org/pdf/2102.04306 代码：https://github.com/Beckschen/TransUNet 发表时间：Feb 2021 一、基本介绍 1.1问题动机 医学图像分割是开发医疗保健系统（尤其是疾病诊断和治
论文笔记 TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation
qq_40206371的博客
08-25 1963
那么效果也更好（每个patch=里面的内容更精细，那么不同像素之间的attention关系更准确）【当然这样的话虽然效果更好了，sequence length 更长，导致计算复杂度也上升了】patch 越小，sequence length 越长，每个patch里面的内容更精细，不同像素之间的attention关系更准确，分割效果更好【计算复杂度越高】这是实验了0个（全没有） 、1个（只链接最中间，1/4处的encoder和decoder）、3个（全连）的情况。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值