脑功能成像大杂烩|有此神器，神经影像配准不再需要高分辨3D T1w

1. 导读：

全球每年有数以百万计的脑部磁共振成像( magnetic resonance imaging，MRI )图像在医院产生。这些有可能彻底改变我们对许多神经系统疾病的理解，但由于它们的各向异性分辨率，尚未全部完成形态计量学分析。我们提出了一种AI技术，" SynthSR "，它可以将任何MR对比度、方向和分辨率进行临床脑MRI图像其转化为神经成像工具可用的高分辨率T1图像。SynthSR能够克服数据限制，并为健康和患病的人脑提供新的信息。

2. SynthSR开发背景

MRI神经成像是研究人脑成像最有用的工具之一。FreeSurfer、FSL、SPM和AFNI等开源神经成像软件包使世界各地的研究人员能够以自动化的方式进行大脑研究。这些工具还提高了研究结果的可重复性。

目前的神经成像工具中的自动化处理方法要求获得各向同性分辨率的MRI扫描，以尽量减少分割或配准等三维分析中的误差。此外，几种方法在MR对比度方面也有要求。例如，Free Surfer需要T1加权扫描。因此，大多数研究的神经影像学研究满足分辨率和MR对比度要求的结构MRI采集通常是1 mm各向同性的T1加权扫描，采用快速梯度回波( MPRAGE )脉冲序列。

然而，世界上绝大多数的MRI扫描都是为了临床目的而获得的，并不满足上述标准。在临床上，医生通常更喜欢2D采集，通常使用广泛的涡轮自旋回波( TSE )序列。这种采集方式减少了检查图像所需的时间，并且对运动伪影的敏感度较低，这对于那些神经系统疾病使其难以躺在MRI扫描仪中的患者至关重要。由于无法从临床扫描中计算出用于神经成像研究的形态学测量，排除了目前在全世界医院的数百万次扫描的分析。

AI技术具有弥合脑MRI扫描之间差距的潜力。在给定一定MR对比度和低分辨率的扫描条件下，这些技术可用于生成具有类T1对比度和各向同性分辨率的成像。现有的MRI合成和超分辨率(super-resolution,SR)技术有很多，基于经典和深度ML方法。现代SR方法几乎完全基于深度学习，特别是卷积神经网络( CNNs )。这些方法通常利用大量成对的低分辨率和高分辨率图像来学习,进一步细化输出可以通过对抗损失来实现。
与SR类似，现代合成方法基于CNNs，试图学习源和目标模态之间的映射，以区分真实和合成图像。虽然获得完全配对的数据很困难，但基于生成对抗网络( Generative Adversarial Networks，GANs )的非配对技术缓解了这一限制，后者通过辅助CNN生成难以区分真实模态的目标模态的合成图像。
在缺失模态的估计的驱动下，许多方法被开发用于脑MRI中的图像合成。但是三个主要的障碍阻碍了深度学习SR和合成技术应用于临床脑MRI数据。首先，域偏移：当输入的分辨率或MR对比度偏离网络训练数据时，CNN的性能迅速下降。第二个障碍是需要重新训练。即使训练数据可用于每个可能的方向、对比度和分辨率组合，不同脉冲序列的不同MRI也需要额外的训练或至少域适应。第三个障碍是病理学的建模：据我们所知，没有任何现有的SR或合成方法对PACS中遇到的病理学的广泛变化具有鲁棒性。
在这里，我们展示了我们的神经网络SynthSR。SynthSR将任何方位、分辨率和对比度的临床颅脑MRI扫描转化为1 mm的各向同性3D MPRAGE。这种合成的MPRAGE可以随后与任何现有的用于脑MRI三维图像分析的工具进行分析，例如配准或分割。SynthSR可以训练使用合成数据来处理预定义分辨率和对比度的图像，但是受到上述三个限制。另一方面，我们的新工具( i )将领域随机化方法与脑MRI的生成模型相结合，以支持不需要重新训练的任何分辨率和对比度的扫描，( ii )通过辅助分割任务产生更逼真的图像，( iii )通过修复正常外观的组织来处理异常。

3. SynthSR

3.1总体描述

该工具实现了一个卷积神经网络SynthSR，将临床上任意方位、分辨率和对比度的MRI扫描转换成1 mm的各向同性MPRAGE，同时修复病灶。然后可以在这些合成图像上进行分割/配准/任何其他分析。
在这里插入图片描述

3.2 安装

第一次运行该模块时，会提示您安装Tensorflow。只需按照屏幕中的说明安装CPU或GPU版本即可。如果有兼容的GPU，可以安装GPU版本进行更快的处理。

3.3用法

我们提供了一个可以应用于任何对比度分辨率扫描的模型。一旦Free Surfer已经获得源代码，就可以简单地在自己的数据上测试SynthSR：

mri_synthsr --i --o --threads <n_threads> [–v1] [–lowfield] [–ct]
: 图像的路径。这也可以是一个文件夹，在这种情况下，该文件夹中的所有图像都将被处理。
: 1 mm MPRAGE将被保存的路径。
<n_threads>:(可选)使用的CPU线程数。默认值仅为1，因此如果您有多个核，可以加快处理速度!
–v1:(可选)使用SynthSR 1.0版本。
–lowfield: (可选)在处理分辨率和信噪比的低场扫描时使用。
–ct: (可选)处理CT扫描时使用。
合成的1mm MPRAGE为标准对比度，校正偏移场，并修复白质病灶。

3.4处理低场MRI图像

在SynthSR的1.0版本中，我们为超精细的扫描提供了一个专用的T1 + T2模型。这有两个原因：脉冲序列的要求，以及两种模态之间的对齐。虽然这个模型仍然是为了重现性而提供的，但我们现在有了一个用于低场数据的扫描模型。这与一般模型非常相似，但训练时合成的数据分辨率较低，噪声较多，信号丢失较多。下面是两个例子，从1.5 x1.5 x5mm轴向T1和从3mm各向同性T2：
在这里插入图片描述

3.5 处理CT图像

关于CT扫描：SynthSR在CT方面也很突出。CT的动态范围与MRI的动态范围相差很大，因此需要将两者剪裁到0~80 Hu。只要图像是以Hu为单位,可以使用- - ct来控制。

3.6 T1 + T2模型进行超精细的扫描

在1.0版本中，我们为使用超精细的序列采集的低场扫描提供了一个专用的T1 + T2模型：
mri_synthsr_hyperfine --t1 --t2 --o --threads <n_threads>
如果T1和T2扫描之间存在相对位移，则需要将T2预配准到T1的空间，而不需要重采样到T1的1.5 x1.5 x5mm空间，会引入较大的重采样伪影。这可以通过Free Surfer的mri _ robust _ register来实现：
mri_robust_register --mov T2.nii.gz --dst T1.nii.gz --mapmovhdr T2.reg.nii.gz --cost NMI --noinit --nomulti --lta /dev/null

4. SynthSR在临床中的应用

4.1图像分割和体积测量

SynthSR的一个主要用途是对MRI感兴趣区域的体积自动测量。使用SynthSR处理了马萨诸塞州总医院数据集中的9146次脑部MRI扫描，其中包括1110例在神经内科就诊的未经处理的数据。合成输出如图1所示。我们使用Free Surfer对这些合成图像进行分割，并将这些分割得到的体积与来自41名患者的435次扫描的结果进行比较，这些患者有1mm的各向同性T1加权扫描。单次扫描的相关性对于组织类别(白质、皮层灰质和皮层下灰质)很强，对于皮质下ROI的中等到强 - 范围从苍白球的0.47到海马的0.76。
使用数据集的分割来测试是否可以复制由于老化而建立的萎缩模式。图2显示了不同组织类别和皮层下ROI的个体点和回归中值轨迹。图2中的轨迹与最近一项荟萃分析结果非常相似：它正确地捕捉到了白质在大约30年的峰值，灰质的早期下降，以及脑室的高度非线性轨迹。尽管使用了大间距的临床扫描，我们的方法也产生了皮层下ROIs的轨迹，这些ROIs与以前发表的依赖于数千个1毫米各向同性T1扫描的研究高度一致，显示了丘脑比海马或杏仁核更早的萎缩。
在这里插入图片描述
图1 . SynthSR的输入和输出实例。

图2 .利用SynthSR结合Free Surfer软件从临床数据中提取脑体积老化轨迹。

4.2检测大脑萎缩：在阿尔茨海默病中的应用

SynthSR在处理大层间距扫描时保留疾病对ROI形状和体积影响的能力，同时证明其兼容性。为此，我们联合SynthSR和FSL检测阿尔茨海默病( Alzheimer ’ s disease，AD )海马萎缩。首先，海马萎缩是AD的一个成熟的生物标志物，所以我们知道预期的结果。其次，我们可以使用从ADNI数据集中公开获得的扫描，其优点是包括5 mm的轴向FLAIR扫描和1 mm的各向同性MPRAGE扫描。
图3 ( A ~ D)为一次样本扫描的SynthSR输出和后续FSL分割结果。在定性上，SynthSR恢复了许多缺失的高频细节，并利用FSL实现了准确的分割。图2E显示了真实值和估算的海马体积的散点图。散点图揭示了真实T1s和合成MPRAGEs估算的体积之间的强相关性。
在这里插入图片描述
图3 . SynthSR和FSL检测AD海马体积。( A ) 5 mm轴位FLAIR扫描冠状位。( B ) SynthSR。( C )用FSL进行分割。( D ) ( C )的三维渲染。( E ) 1 mm各向同性T1扫描和合成MPRAGEs的FSL计算的海马体积散点图。( F ) AD组与对照组海马体积的非参数统计。

4.3临床扫描配准：在脑肿瘤中的应用

SynthSR还可以提高临床脑部MRI扫描图像配准的精度。图像配准在神经成像中有着广泛的应用，例如在纵向分析、多模态扫描的融合或创建图谱等领域。配准的一个重要应用是在胶质瘤患者的术前和随访扫描中进行神经解剖学对应的空间映射，因为在前者中发现能够预测肿瘤浸润和复发的特征对于指导治疗至关重要。然而，由于术前和随访扫描的方向、分辨率、MR对比度以及肿瘤大小和外观的差异，这种配准十分困难- - SynthSR可以通过将1 mm各向同性MPRAGE图像与肿瘤合成来缓解这一问题。

4.4MRI分割与配准：在脑卒中的应用

卒中患者的脑MRI形态学测量在预后的影像学生物标志物和研究卒中后痴呆方面具有重要意义，随着卒中死亡率的下降，卒中后痴呆变得越来越常见。遗憾的是，目前还没有形态测量学工具可以解决由笔画引起的形状和图像强度的异常分布，这使研究放弃了许多没有通过质量控制的样本。
SynthSR可以通过合成1 - mm MPRAGE扫描和内画病灶来消除分辨率、MR对比度以及病灶大小和外观的差异。为了在此背景下评估SynthSR，我们将其应用于个公开的数据集ATLAS，包含655例脑卒中患者的T1脑部MRI扫描，其中包括手动分割的病灶mask。通过修复笔画病灶，SynthSR可以使用Free Surfer等现有包进行精确分割(图4 )。比较5个代表性ROI的同侧和对侧体积，发现与文献报道一致的不对称性模式。
SynthSR还可以改善这些图像的配准，例如用于空间标准化和体素分析的模板构建，用于纵向分析或用于水肿校正。平均病灶集中在基底神经节和深部白质。一个解释是ATLAS数据集中小血管卒中的过度表达，因为这些小血管卒中在丘脑被膜区域普遍存在。
在这里插入图片描述
图4 . SynthSR在脑卒中数据集上的应用。( A )样本病例的轴位、矢状位和冠状位切片，以及SynthSR的输出和Free Surfer分割。( B )组中位模板的正交切片，以及卒中病灶的平均空间分布图。

5. 结论

SynthSR可以与Free Surfer中的分割模块结合使用，SynthSR具有临床和研究两方面的应用。在临床方面，SynthSR有潜力实现各向异性采集的3D形态测量。在研究方面，它具有检查各种问题的潜力，并可能大大增加许多类型研究的统计影响力。例如，在疾病早期阶段的研究中，增加样本量可能会发现细微的影响。