【论文精读】DeepAtlas：图像配准和分割的联合半监督学习

DeepAtlas: Joint Semi-Supervised Learning of Image Registration and Segmentation

Xu, Zhenlin and M. Niethammer. “DeepAtlas: Joint Semi-Supervised Learning of Image Registration and Segmentation.” MICCAI (2019).

Abstract

Deep convolutional neural networks (CNNs) are state-of-theart for semantic image segmentation, but typically require many labeled training samples. Obtaining 3D segmentations of medical images for supervised training is difficult and labor intensive. Motivated by classical approaches for joint segmentation and registration we therefore propose a deep learning framework that jointly learns networks for image registration and image segmentation. In contrast to previous work on deep unsupervised image registration, which showed the benefit of weak supervision via image segmentations, our approach can use existing segmentations when available and computes them via the segmentation network otherwise, thereby providing the same registration benefit. Conversely, segmentation network training benefits from the registration, which essentially provides a realistic form of data augmentation. Experiments on knee and brain 3D magnetic resonance (MR) images show that our approach achieves large simultaneous improvements of segmentation and registration accuracy (over independently trained networks) and allows training high-quality models with very limited training data. Specifically, in a one-shot-scenario (with only one manually labeled image) our approach increases Dice scores (%) over an unsupervised registration network by 2.7 and 1.8 on the knee and brain images respectively.

code

• https://github.com/uncbiag/DeepAtlas

---

介绍

由于不存在变形场的 ground-truth，配准的训练要么使用基于优化的方法的估计结果，要么是无监督的¹ 。最近的工作² 表明，通过在配准中加入额外的图像分割损失作为弱监督，可以比仅依赖于图像的无监督训练得到更好的配准结果。

这两个工作都是 VoxelMorph，2019 年 VM 提出了可以使用分割网络作为辅助网络监督配准学习来提高配准性能。

在实践中，获得 3D 医学图像的分割标签是困难的和劳动密集型的（is difficult and labor intensive）。因此，大部分 3D 图像数据都没有标签用于有监督学习。

针对这样的情况，我们提出了 DeepAtlas，联合弱监督配准和半监督分割学习。我们有以下贡献：

• 我们是首个提出联合图像配准和分割学习的。 DeepAtlas 既可以联合训练，也可以单独训练和预测。

• DeepAtlas 只需要少量的人工分割标签。我们使用结构相似性损失来相互指导分割和配准。它通过计算浮动图像（$I_m$）的分割标签被配准网络扭曲后与目标图像（$I_t$）的分割标签的不相似度来指导分割和配准。

  如果配准后的图像分割（通过分割网络生成的）本来也有标签的话，可以给配准网络提供一致性监督学习，以及使分割网络产生匹配配准后的分割标签的分割预测。

• 我们在大型 3D 大脑和膝关节 MRI 数据集上评估了我们方法的有效性。使用少量手动分割，我们的方法优于单独学习的配准和分割网络。在极端情况下，如果只有一个手动分割的图像可用，我们的方法有助于 one-shot 分割，同时提高配准性能。

方法

我们的目标是通过联合学习一个分割和一个配准网络，在训练数据只有少量手动分割标签时，提高配准和分割精度。

如上图所示，DeepAtlas 包含两个部分：

• 弱监督配准学习（蓝色实线）
  由配准正则损失（$L_r$）、图像相似性损失（$L_i$）、soft multi-class Dice loss（$L_a$）的加权相加来训练配准。
• 半监督分割学习（黄色虚线）
  由典型的有监督分割损失（$L_{sp}$）、soft multi-class Dice loss（$L_a$）的加权相加来训练分割。

1. Weakly-supervised Registration Learning

输入浮动图像 $I_m$ 和目标图像 $I_t$，配准网络 ${\mathcal{F}}_R$ 及其参数 ${\theta }_r$ 预测出位移场（displacement field） $\mathbf{u}={\mathcal{F}}_R\left(I_m,I_t;{\theta }_r\right)$。

经过变形场扭曲的浮动图像为 $I_m^w=I_m\circ {\Phi }^{-1}$，其中，${\Phi }^{-1}=\mathbf{u}+\text{id}$ 为变形场（deformation map），id is the identity transform。

无监督配准学习过程中，$L_i$ 损失惩罚 $I_t$ 和 $I_m^w$ 的不相似性，正则损失 $L_r$ 鼓励生成更加平滑的位移场 $\mathbf{u}$。通过加入定制的 Dice loss $L_a$ 惩罚分割网络得到的伪标签扭曲之后与目标标签的 dice 来达到弱监督配准学习。

Weakly-supervised registration learning is then formulated as:

θ r ⋆ = argmin ⁡ θ r { L i ( I m ∘ Φ − 1 , I t ) + λ r L r ( Φ − 1 ) + λ a L a ( S m ∘ Φ − 1