【论文阅读笔记】Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Syn

最新推荐文章于 2025-02-19 23:45:30 发布

原创

最新推荐文章于 2025-02-19 23:45:30 发布 · 1.5k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读 #笔记 #transformer

本文提出了一种利用Edge-MAE预训练和MT-Net进行跨模态磁共振成像合成的方法，通过边缘感知和多尺度细化提升图像质量。实验结果显示，该技术在保持图像细节和结构准确性方面有显著优势，尤其在医学成像中有潜在应用。

Li Y, Zhou T, He K, et al. Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis[J]. IEEE Transactions on Medical Imaging, 2023. 【开源】

论文概述

本文提出一种基于多尺度变换网络（MT-Net）的方法，用于跨模态磁共振成像（MR）图像合成。这种方法通过边缘感知的预训练和多尺度细化调整来提高合成图像的质量。核心创新包括：1) 一个边缘感知的掩码自编码器（Edge-MAE），用于预训练，以改善图像的边缘细节；2) 一个多尺度变换网络，用于细化调整，以更好地捕捉和融合不同尺度的特征；3) 引入了双尺度选择性融合模块和特征一致性模块，以进一步提升合成图像的质量和一致性。这种方法在提高跨模态MR图像合成质量方面显示出了显著的潜力，特别是在保持图像细节和结构的准确性方面。

研究背景和动机：作者指出，跨模态MR图像合成在医学成像中具有重要意义，尤其是在某些成像模态不可用的情况下。然而，现有的方法在处理这一任务时存在一些限制，如对边缘信息的忽视和训练不稳定性。
创新点概述：
- Edge-MAE预训练策略：文章提出了一种名为Edge-MAE的预训练策略，用于改善图像合成的质量。这种策略通过随机遮盖图像的一部分来训练模型，重点关注图像的边缘信息。在预训练阶段，模型首先关注易于估计的区域（“easy patches”），然后逐渐转移到更难估计的区域（“hard patches”）。
- 多尺度变换网络（MT-Net）：提出了一种新的多尺度变换网络，用于微调预训练模型，以适应跨模态合成任务。这个网络采用编码器-解码器架构，利用多尺度特征来提高合成图像的质量。
- 双尺度选择融合模块：为了有效地融合来自双分支编码器的多尺度特征，文章提出了一个双尺度选择融合（DSF）模块。该模块包括空间选择、通道选择和特征融合三个关键部分。
- 特征一致性模块：与基于生成对抗网络（GAN）的方法不同，本文采用预训练的Edge-MAE作为特征一致性模块，以增加训练稳定性并改善感知结果。
实验和评估：文章通过一系列实验验证了所提方法的有效性。这些实验表明，该方法在合成质量和边缘保留方面优于现有技术。
应用：作者强调了该技术在医学成像，特别是在阿尔茨海默病和精神分裂症等疾病的诊断中的潜在应用。

方法概述：

Edge-Aware Pre-Training
- Edge-Preserving Masked AutoEncoder：类似于MAE结构，但MAE由于只采用像素级损失，忽略了边缘轮廓情况，对于医学图像会影响性能，因此本文使用双decoder，以多任务方式训练，一个decoder输出还原的像素图像，另外一个输出边缘图，与Sobel算子提取的边缘对照。
- Patch-Wise Loss：作为本文的创新点之一，这种损失函数的设计考虑到了图像中不同区域的难易程度，以及在预训练阶段对这些区域的不同处理方式，主要特点和工作原理是：