ScaMorph ：通过规模感知上下文聚合增强医学图像配准中的无监督学习

本文链接：https://blog.youkuaiyun.com/qq_51204441/article/details/146571591

ScaMorph ：通过规模感知上下文聚合增强医学图像配准中的无监督学习

“Enhancing unsupervised learning in medical image registration through scale-aware context aggregation” (Liu 等, 2025, p. 1)

1.简介

（1）我们介绍了ScaMorph，这是一种卷积神经网络和Transformer架构的创新融合，专为可变形图像配准而设计。这个开创性的模型无缝集成了局部和全局依赖性，提高了配准过程中的准确性和弹性

（2）为了增强我们模型的性能，我们引入了尺度感知上下文聚合（SCA）机制，将强大的多尺度混合卷积（MMC）与进化的轻量级多尺度上下文融合（MCF）相结合，以同化多尺度上下文，导致更精确和可靠的配准结果

（3）为了验证我们提出的配准模型的功效，我们评估其在三种不同的脑MRI配准场景中的性能，一种是患者间CT配准场景和模态间MR-CT配准场景，与现有配准方法进行了全面比较，展示了无与伦比的最先进性能。

2.数据

IXI数据集：包括来自三家医院健康个体的576次3D MRI扫描。在这项研究中，我们使用了{11}提供的预处理IXI数据。该数据集被分为训练集、验证集和测试集，分别有403、58和115个卷，比例为7：1：2。使用FreeSurfer软件执行结构性脑MRI的基本预处理程序，例如头骨剥除、重新采样和仿射变换。48随后，所有图像体积都被裁剪为160 3 192 3 224的尺寸。使用代表解剖结构的29个标记标测图评价对线性能。

11：“Kim, B., Kim, D.H., Park, S.H., Kim, J., Lee, J.-G., and Ye, J.C. (2021). CycleMorph: Cycle consistent unsupervised deformable image registration. Med. Image Anal. 71, 102036.”

FreeSurfer：参考博客https://blog.youkuaiyun.com/zuzhiang/article/details/107562854

OASIS数据集：由416次横断面T1加权MRI扫描组成，用于受试者间大脑配准。我们采用了Learn 2Reg 2021挑战赛（任务3）{49}提供的预处理OASIS数据集，其中包括414个三维扫描图像。每次MRI脑部扫描都经过预处理步骤，包括颅骨剥离、对齐和标准化，分辨率为160 3 192 3 224。使用35个解剖结构的标签面罩评估配准性能，并采用Dice Score作为评估指标。

49：Hering, A., Hansen, L., Mok, T.C.W., Chung, A.C.S., Siebert, H., Hager, S., Lange, A., Kuckertz, S., Heldmann, S., Shao, W., et al. (2023). Learn2Reg: Comprehensive Multi-Task Medical Image Registration Challenge, Dataset and Evaluation in the Era of Deep Learning. IEEE Trans. Med. Imag. 42, 697–712.

3.方法

总体架构如下：

3.1 ScaMorph的结构

ScaMorph的架构如图S2所示。输入数据表示为 X∈R[H×W×D×S]，首先通过一个回归头层（reg head layer）处理，生成尺寸为 H/H′×W/W′×D/D′(分母均设置为2)的3D标记序列。这些标记随后被投影到一个维度为 C (=16)的嵌入空间。在编码器中，嵌入通道的尺寸。网络包含四个阶段，下采样率分别为4、8、16和32。编码器中的Sca块保留与输入相同数量的标记，维持层次结构。为了保持这种结构，在每个阶段的末尾插入一个补丁合并层（patch merging layer），将分辨率降低2倍，生成4C维的特征嵌入。

解码器部分包含连续的上采样和卷积层，卷积核尺寸为 3×3×3。在解码阶段，每个上采样后的特征图通过跳跃连接（skip connections）与编码路径中对应的特征图相连，随后经过一个解码块。此外，在编码路径的每个输出特征图后，策略性地使用了ResBlocks[54]，以增强编码路径输出结果的传播。

3.2 MMC和MCF

规模感知上下文聚合多规模混合卷积 MMC（Multiscale Mixed Convolution）

MMC采用卷积调制方法，结合深度可分离卷积和逐点卷积的优势。通过将输入通道分为N个头，并对每个头分别应用深度可分离卷积（图S2(e)），MMC扩大了感受野并捕获了多尺度特征。每个分支使用DConv表示深度卷积。为了模拟更大卷积核（如 5×5×5）的常规深度卷积，我们采用三个深度条带卷积的组合，即依次应用 5×1×1、1×5×1 和 1×1×5卷积。这种轻量级策略扩大了感受野，增强了模型捕获长距离依赖的能力。

多尺度上下文融合（MCF）

为了促进多尺度调制与上下文融合（MMC）框架中多个实体之间的信息交换，我们引入了一个轻量级模块——多尺度上下文融合（MCF），如图S2(e)所示。通过从每个实体中选择一个通道形成集合，并利用逆瓶颈架构，我们在每个集合内执行向上-向下融合操作。这一操作增强了多尺度特征的多样性，并通过 1×1×1卷积层捕获组间关系。输入G∈R（N×N×D×C ）通过逐点卷积实现全局信息的交叉融合。

通过MMC和MCF捕获并聚合多尺度空间特征后，我们得到一个称为调制器 MM 的输出特征图。随后，我们利用该调制器通过标量乘法对值 VV 进行调制。对于输入特征 F∈R（N×N×D×C），输出计算如下：