Bridging MRI Cross-Modality Synthesis and Multi-Contrast Super-Resolution by Fine-Grained Difference Learning
10.1109/TMI.2024.3445969
这篇文章主要围绕多模态磁共振成像（MRI）中目标模态的推算或重建问题展开，核心内容总结如下：
问题背景：
在多模态 MRI 中，推算或重建目标模态的任务面临着精确建模细粒度模态间差异的挑战。这些差异源于粗配准后残留的空间不对齐，以及模态特定信号表现产生的结构差异。同时，难以同时获取多种模态的高分辨率 MRI 图像，一些难以获取的模态常以低分辨率采集甚至不采集，为此出现了跨模态合成（CMS）和多对比度超分辨率（MCSR）任务，目标是在同一坐标系下逼近高分辨率目标模态图像。
现有方法不足：
CMS 方法主要利用条件生成模型，但基于 Pix2Pix 的方法对空间不对齐更敏感，基于 CycleGAN 的方法在准确性上稍逊一筹；MCSR 方法之前多为纯重建方法，近期引入生成方法但缺乏细粒度调节机制，且现有方法很少提及模态特定结构问题，对于这些独特结构的恢复存在消失或过度模糊问题，传统方法虽引入结构差异概念但计算成本高且恢复精度不足。
解决方法：
将 CMS 和 MCSR 的研究轨迹整合在统一框架中，通过广义下采样比率连接，提出复合网络架构，包括标签校正模块（对齐多模态训练对的坐标）、CMS 模块（作为基础模型）、SR 分支（处理目标输入）和差异投影鉴别器（用于以结构差异为中心的对抗训练）。在训练 SR 分支作为生成器时，通过差异感知增量调制增强对抗学习，且 SR 分支集成可变形卷积以在特征级别解决跨模态空间不对齐问题。
引言：
与单模态SR相比，引入另一种模态的关键问题是模态间关系建模。
最近，基于生成先验 [22] 和扩散模型 [23] 的生成方法被引入到多对比度超分辨率（MCSR）领域中。然而，这些方法缺少一种细粒度的调节机制，无法在精确的结构恢复和视觉真实性之间取得平衡。
详细解释
基于生成先验和扩散模型的生成方法：在 MCSR 任务中，这些是比较新引入的技术手段。生成先验是指模型依据已有的知识或模式，预先设定一些生成数据的规则或条件；扩散模型则是通过逐渐添加噪声再去噪的过程来生成数据。在 MCSR 里，它们的目的是将低分辨率、高度退化的目标模态图像超分辨率处理成高分辨率图像。例如，在处理医学的多模态磁共振图像时，利用这些方法尝试从低分辨率的图像中恢复出高分辨率的图像，以更好地显示解剖结构。
缺乏细粒度调节机制：细粒度调节机制类似于精准的 “调节器”，可以对生成过程中的各种细节进行精细的控制。但这些新引入的方法缺少这样的机制。例如在绘制一幅精细的建筑图纸时，没有精准的工具来微调线条的粗细、角度，以及各个建筑结构之间的比例关系。
精确的结构恢复和视觉真实性难以平衡：精确的结构恢复是指生成的高分辨率图像能够准确呈现出原始图像中物体或结构的形状、位置和相互关系；视觉真实性则是指生成的图像在视觉上看起来自然、逼真，符合人眼的视觉习惯。由于缺乏细粒度调节机制，这些方法在生成图像时，要么过于注重结构的准确性，导致图像看起来生硬、不自然，像一幅只注重几何形状的草图；要么过于追求视觉上的自然，却牺牲了结构的精确性，使得图像中的物体结构出现偏差，比如超分辨率后的医学图像中器官的形状和位置不准确，影响诊断。
图1。细粒度差异的说明。与最先进的方法进行比较，可以清楚地证明我们的方法的优势，特别是在区分图突出显示的区域。
研究方法总结
数据处理与任务统一：对高分辨率参考图像和未对齐低分辨率目标图像进行处理，通过标签校正模块将两者坐标对齐，统一描述 CMS 和 MCSR 任务，利用结构差异图衡量任务中的挑战区域。
网络架构构建：建立基础网络估计结构差异图，在此基础上发展 SR 分支。SR 分支利用可变形卷积处理目标图像与参考图像的空间不对齐问题，通过正则化跨模态特征相关性表征结构差异，并采用增量调制方案引导独特结构的生成。
差异投影判别器：结合投影机制和 U 形判别器架构，使用结构差异图D进行多尺度投影，应用相对论 GAN 损失，在 cGAN 框架内更新判别器，分两阶段训练模型，先更新 CMS 模块，再固定更新 SR 分支，以有效表征多级别细粒度数据分布，尤其是独特区域的数据分布。
方法
A. 问题表述与整体架构
B. 差异投影判别器
结构差异图突出了输入条件不足的目标区域，恢复这些结构是 CMS 和 MCSR 的主要挑战。现有 MCSR 方法多基于判别网络，确保公共结构的准确性但模糊独特结构；CMS 方法则依赖生成模型，擅长合成符合目标分布的细节但不确定性较高。本文结合两者优势，在条件生成对抗网络（cGAN）框架内引入精细化生成技术，通过差异投影机制为判别器提供条件。
受投影判别器启发，本文设计差异投影判别器，结合多尺度结构差异图进行高维像素级投影。判别器包含 L 级编码器 \(U_{enc}\) 和解码器 \(U_{dec}\)，采用相对论 GAN 损失（Relativistic GAN loss）提升稳定性和真实感。解码器处理 \(F_{k}(I_{ref}, S_{k}{I}_{tar}))\) 与 \(\hat{I}_{tar}\) 的多级判别，利用下采样的差异图 \(d_{l}\) 更新解码器输出，强化对差异区域的关注。
两阶段训练中，首先更新 CMS 模块、标签校正模块和差异投影判别器，利用 \(L_{1}\) 损失、多尺度 SSIM 损失和相对论 GAN 损失约束重建结果与对齐目标的一致性；第二阶段固定 CMS 模块，通过特征正则化损失 \(L_{D}\) 更新 SR 分支。差异投影判别器在两阶段中持续优化，有效刻画多尺度细粒度数据分布，确保生成过程的忠实性和真实感。
C. SR 分支的差异学习
- 特征级对齐的可变形卷积 现有方法通过额外配准网络扭曲参考图像至目标坐标，导致病态问题和高计算成本。本文在 SR 分支的基础处理单元中引入可变形卷积，根据学习到的偏移量动态调整标准卷积的采样位置，实现多尺度特征级对齐。给定多尺度参考特征 r_{i}，目标特征 f_{i} 在输入融合块前通过可变形卷积层进行扭曲，其中偏移量 Delta p_{j} 由多模态特征f_{i}, r_{i} 预测。
可变形卷积通过 \(n^2\) 个独立空间变形结合 3D 卷积，在端到端框架内实现灵活多样的多级对齐，避免了单变形场估计的局限性，有效处理输入间的空间错位。
- 结构差异的表征 直接预测差异图会引入额外参数且训练困难，本文提出通过多尺度跨模态特征的相关性逐步建模差异图。在 SR 分支中，LR 输入经 k 级处理单元，目标特征 f_{i} 先对齐至参考特征 r_{i} 得到 {f}_{i}，然后对每对特征图{f}_{i}, r_{i}\}\)，利用下采样的差异图 d_{i}最小化特征正则化损失 L_{D}，通过余弦相似性预测像素级差异，鼓励目标分支挖掘 CMS 模块忽略的信息，强化差异区域的强度变化方向约束。
- 细粒度增量调制 特征调制通过学习仿射变换实现条件特征去归一化，本文提出从差异图学习空间可变的增量，叠加到原始仿射参数以微调残差细节。在 SR 分支中，对经过实例归一化的特征 (f_{i}，通过 Delta \sigma 和 Delta \mu 调整其均值和标准差，其中 Delta sigma和 Delta \mu 由卷积层从近似差异图预测。该调制方案确保 SR 分支作为生成器时，能条件化地增量生成差异结构，平衡结构忠实性和视觉真实感。
实验细节
- 数据集
- BraTSReg：脑胶质瘤患者多模态 MRI 数据，包含 T1w 和 T2w 模态，280 例样本。
- IXI：健康人脑部 MRI 数据，T1w 和 T2w 模态，577 例样本。
- FastMRI：膝关节 PDw 和 FS-PDw 模态数据，1054 例样本。
- 任务：以 T1w/PDw 为参考模态，T2w/FS-PDw 为目标模态，分别进行跨模态合成（CMS）和多对比度超分辨率（MCSR）。
- 数据准备
- 通过 k 空间截断生成低分辨率（LR）目标图像
- 实验结果
MCSR 在 FastMRI 和 IXI 数据集的 PSNR/SSIM/LPIPS 结果，CMS 在 FastMRI 和 IXI 数据集的 PSNR/SSIM/LPIPS 结果（表一，表二）
不同方法在结构差异区域的视觉效果对比（含差异图放大）
参数量（M）和计算量（FLOPs）对比，本文方法更轻量
不同下采样率（2× 至 32×）的性能曲线，本文方法稳定性最优
表I显示了4×和8×中间下采样率下的定量比较结果。与所有其他方法相比，我们的方法和DisC-Diff这两种生成方法在视觉质量（LPIPS）方面始终表现出优越的结果，同时在PSNR和SSIM方面仍保持可比的性能。如图5所示，我们还将我们的方法与主要竞争对手MINet、DisC-Diff和CANM-Net在IXI数据集上的各种下采样率下进行了比较。各种方法之间的性能差距最小，为2×。然而，随着下采样率的增加，我们的方法的性能曲线平滑地接近界限（CMS），逐渐扩大了与其他方法的差距。我们的方法的独特特征可以在图3中更清楚地观察到。在一个统一的框架内，我们的方法捕获了底部独特结构的形状和位置，其中下采样率接近无穷大。随着目标信息的增加，我们的方法在恢复结构差异方面逐渐取得了更准确的结果，而其他方法则受到这些关键信号失真或丢失的影响，在不同的下采样率下显示出不确定的模式。
扫一扫
1468
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
