脑肿瘤分割论文学习（3）Two-Stage Cascaded U-Net 1st Place Solution to BraTS Challenge 2019Segmentation Task

• 写在前面，作为BraTS2019分割挑战赛的第一名，其内容比较新颖，目前来看，是脑肿瘤分割方法在nnUnet出来前的集大成者，能看到多阶段，深度监督等思想的体现，同样本文是一个workshop，写作上更加直接
  

Abstract

• 介绍本文的工作
  • 在本文中，我们设计了一种新颖的两阶段级联的U-Net来从粗略到精细地分割脑肿瘤的亚结构。【这里主要说的是两阶段级联的策略，也是一种常规的策略，即第一阶段进行粗分割，第二阶段执行细分割与调整粗分割结果】
  • 该网络在多模式（多模态）脑瘤分割挑战赛(BRATS)2019年的训练数据集上进行了端到端的训练。【这里应该设计了的是端到端的两阶段模型，比传统的分开训练的两阶段模型来说，可能速度上更有优势，那么这里是不是会设计一个深度监督的思想，在第一阶段模型的输出进行监督训练】
• 介绍本文的实验结果
  • 在测试集上的实验结果表明，对于增强的肿瘤、整个肿瘤和肿瘤核心，该方法的平均DICE得分分别为0.83267、0.88796和0.83697，豪斯道夫距离(95%)分别为2.65056、4.61809和4.13071。
  • 该方法在Brats 2019挑战细分任务中获得第一名，参与挑战的团队超过70支。
• Keywords: Deep learning · Brain tumor segmentation · U-Net

1 Introduction

• 简单介绍工作背景，也就是脑胶质瘤分割的意义所在
  • 胶质瘤是最常见的原发性脑肿瘤类型。自动三维脑肿瘤分割可以节省医生的时间，并为额外的肿瘤分析和监测提供一种合适的方法。
  • 最近，深度学习方法一直优于传统的脑瘤分割方法。【目前深度学习在脑肿瘤分割上优于传统的分割方法，即提一下，别人都干，我也是干的深度学习，但是我可能是深度学习中更加优秀的方法】
• 介绍挑战赛的情况与挑战赛提供的数据集的情况
  • 多模式脑瘤分割挑战（BraTS）旨在评估最先进的脑瘤分割方法。【这基本是挑战赛的目的所在，基本写挑战赛的小短文的时候都能套用】
  • BraTS 2019训练数据集包括259例高级别胶质瘤（HGG）和76例低级别胶质瘤（LGG）。训练数据集包括259例高级别胶质瘤（HGG）和76例低级别胶质瘤（LGG），由临床医生和委员会认证的放射科医生手工注释。【这里注意一下这个LGG，其实LGG里面可能有的数据标签与HGG不一致，也是目前挑战赛里面SOTA里面进行强行舍弃一部分ET的原因】
  • 数据情况如下
    • 对于每个患者，提供了自然平扫(T1)、增强后T1加权(T1Gd)、T2加权(T2)和T2液体衰减反转恢复(T2-FLAIR)。【这里其实就是T1w,T1CE,T2,FLAIR】
    • 图 1 显示了一个示例图像集。每个肿瘤被分割为增强肿瘤、瘤周水肿以及坏死和非增强肿瘤核心。多项指标（Dice 得分、Hausdorff 距离 (95%)、敏感性和特异性）被用来衡量参与者提出的算法的分割性能。
• 介绍往年挑战赛或者数据集上别人开发算法的情况（其实就是Realted work）
  • 在Brats 2017年，Kamnitsas等人是该挑战的第一名获胜者，他提出了多个模型和架构的集成(EMMA)来实现稳健的分割，这是通过结合包括DeepMedic、3D U-Net和3D FCN在内的几种网络架构来实现的，这些网络通过不同的损失函数，如骰子损失和交叉熵损失，用不同的优化过程进行训练。【这里其实主要是想凸显自身端到端的优越性】
  • 在BraTS 2018中，在测试数据集上取得最佳性能的Myronenko[15]使用了一个不对称的U形网络，带有一个更大的编码器来提取图像特征，以及一个更小的解码器来重建标签。他将一个非常大的patch大小（160×192×128个体素）输入到网络中，还添加了一个变分自动编码器（VAE）分支，以便对共享编码器进行正则化。【其实整体思想来源中的不对称网络设计就来自于此】
• 介绍本文的工作
  • 在这项工作中，受级联策略[19,22,25,26]的启发，我们提出了一种新的两级级联U网络。在第一阶段，我们使用U-Net的一个变体作为网络训练的第一阶段进行粗预测。
  • 在第二阶段，我们增加了网络的宽度，并使用了两个解码器来提高性能。第二阶段是通过将初步预测图与原始输入连接起来以利用自动上下文来细化预测图。我们不使用任何额外的训练数据，只在测试阶段参与分割任务

2. Method

• 介绍第一阶段模型的由来
  • Myronenko[15]提出了一种具有可变自动编码器分支的非对称U网络[5,11]。在本文中，我们采用这种方法的一种变体作为基本的分割架构。我们进一步提出了一种两级级联U型网络。具体说明如下

2.1 Model Cascsde

• 介绍模型级联规则
  • 如图2所示，在第一阶段中，多模态磁共振图像（4×128×128×128）被传递到第一阶段的U网络中，并粗略预测分割图。粗分割图与原始图像一起送入第二级U网。第二阶段可以用更多的网络参数提供更精确的分割图。两级级联网络以端到端的方式进行训练。

2.2 The First Stage Network Architecture

• 介绍一些一阶段模型设计的原因
  • 由于 GPU 内存的限制，我们的网络被设计为采用大小为 128×128×128 体素的输入块，并使用一个批量大小。【128是一个常用的输入大小，如果再大一点的话对于显存需求就太高了，同时batchsize 设置为1，这也是为啥会用到GN的原因】
  • 网络架构包括一个较大的编码路径，用于提取复杂的语义特征，以及一个较小的解码路径，用于恢复具有相同输入大小的分割图。第一阶段网络的架构如图 3 所示。
• 介绍编码器设计的一些细节
  • 3D U-Net有一个编码器和一个解码器路径，每个路径都有四个空间级别。在编码器开始时，从脑肿瘤图像中提取具有四个通道的128×128×128体素块作为输入，然后使用16个滤波器进行初始3×3×3三维卷积。
  • 我们还使用了初始编码器卷积后速率为0.2的丢失。编码器部分使用预激活的残差块。每个块由两个3×3×3卷积组成，组归一化，组大小为8，校正线性单元（ReLU）激活，然后是加性标识跳过连接。在每个空间级别内，预激活的剩余块的数量为1、2、2和4。
  • 此外，使用一个带有3×3×3滤波器和2步长的卷积层，将特征地图的分辨率降低2，同时将特征通道的数量增加2。【目前比较普遍的是用卷积带步长为2的形式进行下采样，主要是考虑到这种卷积是可学习的，在少量增加参数的前提下进行一定的性能提升】【所谓的预激活模块，其实就是先做非线性变换和归一化之后再进行卷积，是否有成熟理论支撑本人还未进行相关资料查阅】
• 介绍解码器设计
  • 与编码器不同，解码器结构对每个空间级别使用单个预激活的剩余块。在上采样之前，我们使用1×1×1卷积将特征数减少2倍。与[15]相比，我们使用核大小为2×2×2的反卷积和2的步长，而不是三线性插值，以便将空间维度的大小增加一倍。【这种上采样方法也是目前主流的上采样策略，而不再是使用插值】
  • 该网络的特点是编码器和解码器中具有相同分辨率的相应层之间通过元素求和进行快速连接。【这里应该对应的是cat操作，将编码器中的特征图与同一分辨率的解码层的特征图相加】
  • 在解码器的末尾，使用1×1×1卷积将输出通道数减少到三个，然后是一个sigmoid函数。结构细节如表1所示。【softmax和sigmoid到底怎么选择，等待继续学习】

2.3