论文精读：Brain Tumor Segmentation viaMulti-Modalities Interactive FeatureLearning

目录

摘要

    从多模式的磁共振图像数据中自动分割脑肿瘤，有可能实现术前规划和术中体积测量。深度卷积神经网络技术的最新进展为实现端到端分割提供了机会。然而，用于脑肿瘤分割的医学图像数据相对稀少，脑肿瘤的外观多样，很难找到一个可学习的模式来直接描述肿瘤区域。在本文中，我们提出了一种新的跨模式交互式特征学习框架，从多模式数据中分割脑肿瘤。

   其核心思想是，多模态的Mr数据包含了丰富的正常大脑区域的模式，这些区域很容易被捕获，并有可能用于检测非正常的大脑区域，即脑瘤区域。所提出的多模态交互式特征学习框架由跨模态特征提取模块和注意引导特征融合模块两个模块组成，旨在探索跨多模态的丰富模式，指导来自不同模态的丰富特征的交互和融合过程。在BraTS 2018基准测试上进行了全面的实验，结果表明，与基线方法和最先进的方法相比，所提出的跨模态特征学习框架可以有效地提高脑肿瘤的分割性能。

介绍

脑癌是一种侵袭性、高致死性的恶性肿瘤。由于脑肿瘤的外观和形态的多样性，从多模态磁共振成像（MRI）序列中准确地自动分割肿瘤区域是人工智能和辅助诊断领域的一个困难但有意义的问题。

对于肿瘤自动分割任务，输入的医学图像是多模态数据，相应的分割掩模包含脑肿瘤的多个区域。具体来说，输入的多模式医学图像包括四种MRI模式，即T1加权（T1）、对比增强T1加权（T1c）、T2加权（T2）和T2流体衰减反转恢复（FLAIR）模式。脑肿瘤分割的目的是确定脑肿瘤区域的体积、形状和定位，即整个肿瘤（WT）区域、肿瘤核心（TC）区域和增强肿瘤（ET）核心，在脑肿瘤诊断和监测中起着至关重要的作用。

医学图像和普通自然图像之间的巨大差异。具体来说，这两种图像之间有双重不同的特性： (1)与常见的自然图像不同，医学图像通常由多种捕捉不同病理特性的MRI模式组成。(2)医学图像中肿瘤的几何形状、空间位置和纹理结构复杂多变，肿瘤没有特定的、规则的外观模式。

方法

为了解决这些问题，本文提出了一种新的交互式模态深度特征学习框架，从多模态MRI数据中学习脑肿瘤的判别信息。所提出的交互式模态深度特征学习框架包括跨模态特征提取和正常的区域引导特征融合。

图1简要地说明了所提出的学习框架。

一、在跨模态特征提取过程中，我们采用双步特征交互策略来提取不同模态数据间的交互特征。第一个特征交互步骤以通道方式连接多模态图像数据，以提取输入级的低级交互特征，，第二个特征交互步骤集成不同模态对的高级特征，提取高级交互特征。

二、在正常区域引导的特征融合中，我们提出了一种新的基于反向注意的特征融合框架，从不同的模态数据中共同增强正常脑区域的特征。这鼓励了特征提取网络学习内在模式，这些模式有助于从每个模态数据中确定正常的大脑区域。这一过程背后的直觉是，反向注意机制增强了大脑MRI数据中的非肿瘤区域，这些区域包含了正常大脑区域丰富的结构和纹理信息。

数据集

我们在BraTS 2018基准（29-31）上实现了所有的实验，以评估所提出的脑肿瘤分割的性能。BraTS 2018基准数据集包含四种模式，即T1、T1-c、T2和FLAIR。BraTS 2018基准测试有两个子集：一个是包含285名对象的训练集，另一个是包含66个具有隐藏ground truth（也就是人工标注的框）的对象的验证集。每个样本都有三个肿瘤亚腔室的手工专家分割：水肿（ED）、增强肿瘤区域（ET）和非增强肿瘤（NCR/NET）。

在官方的BraTS评估中，这些标签被组合成三个层次的子区域：whole tumor (WT), tumor core (TC) and enhancing tumor (ET).

1. WT = ED + ET + NET
2. TC = ET+NET
3. ET

为了对这些分层肿瘤区域产生不确定性估计，我们在训练自动分割模型之前，将肿瘤亚腔室标签合并到分层标签中 。

体素Voxel：根据层厚与矩阵的大小，能被扫描的最小体积单位，用长、宽和高表示。 通常长与宽为1mm，高度是取决于层厚，可为10、5、2、1mm

像素Pixel：是构成MRI图像的最小的单位，与体素相对应，体素的大小在图像上的表现，即为像素。

预处理：BraTS 2018数据集进行了预处理。样本和Mr图像被共同放到标准模板上，重新采样到单位体素大小（1×1×1），并剥离头骨。当在每个基准上进行实验时，我们在训练集中随机选择80%的数据来训练脑肿瘤分割模型，同时使用训练集中的其余数据来测试分割性能。我们另外将每个Mr图像的对象归一化为零均值和单位方差。

模型

多模态的脑肿瘤分割网络

每个模态对内的信息往往是一致的，而来自不同模态对的信息往往是不同的和互补的。交叉模态特征提取模块以模态对作为输入，输出多模态数据的交互特征。然后，注意引导特征融合模块以交互特征作为输入，并输出融合的交叉模态交互特征。最后，利用融合的交叉模式交互特征生成脑肿瘤区域的分割结果。 

Cross-Modality Feature Extracting Module

为了有效地交互不同模态之间的特征，我们采用通道连接和参数共享的组合策略来提取相似模态之间的共同特征，并利用不同模态之间的信息来提高特征的丰富性。具体来说，我们使用基于cnn的网络来提取模态对中的共同特征，其中共同病理区域和正常区域具有一致的特征，如图2所示。交叉模态特征提取模块具有两个输入通道，分别对应于来自一个模态的两个Mr图像。同时，该特征提取器通过共享参数来提取不同模态对的交互特征。

考虑到低水平特征对分割性能的贡献较小，但需要更多的计算资源，我们聚合高水平特征来预测每个模态对中常见的常见脑肿瘤区域。具体来说，对于输入模态对xg1={xT1，xT1c}（或xg2 = {xT2，xFLAIR），每个大小的模态数据，五级特征×，=1，…可以从跨模态特征提取网络中提取分辨率[×/2k−1，×/2k−1，×/2k−1]。然后，我们按照工作（35）将交互特征fi划分为低级特征组{fi，i = 1,2}和高级特征组{fi，i = 3,4,5}。低级特征包含大量的模态信息，不适用于多模态之间的交互式特征融合。因此，我们使用部分解码器Dp（35），只以级联的方式聚合高级特征{fi，i = 3,4,5}。利用fDp = Dp（f3，f4，f5）计算了一个模态对的交互特征，还可以得到输入模态对的全局映射Mg。

Attention Guided Feature Fusing Module 

全局地图Mg是由高级特征{fi，i = 3,4,5}形成的，它捕获了正常脑区域和肿瘤区域等高级信息。然而，脑肿瘤区域的丰富多样性使得特征提取模型不可能从该区域提取出可学习的结构模式。与脑瘤区域相比，训练图像中的正常脑区分布有规律，这些结构模式更容易感知和提取。基于这一观察结果，我们提出了一种跨模态特征融合策略，通过消除前景对象的方式来逐步区分大脑区域[方案27,4]。

我们建议通过从高级特征中学习反向注意（35）来确定多模式Mr数据中的正常大脑区域。而不是直接预测非正常区域（脑肿瘤区域）。

提出的注意力引导特征融合模块​​​​​​​由两个块组成：特征融合块和反向共注意块。

如图3所示，反向共注意块从两个模态对中提取两个侧输出特征图作为输入，并输出一个反向共注意权重。侧输出特征映射Mi，i = 3,4,5是由之前的FFD（特征融合块）生成的。在每个反向共注意块中，使用s型操作和反向操作来生成反向注意权重Ri。其中⊖表示一个反向操作减去所有1的矩阵E的输入，σ是s型函数。

 

特征融合块的细节如图4所示。该块将两个模态对的高级特征和反向共注意权值作为输入，生成侧输出特征图和交互式特征图。反向共注意权值增强了两个模态对中共同兴趣区域的特征，削弱了共同无兴趣区域的特征，从而实现了多个模态对之间的特征的深度整合 。

我们将两对模态对的反向共注意特征串联起来，以深入融合其两个模态对的特征。通过将融合后的特征逐步叠加，得到最终的分割结果。