Cross-Modality Domain Adaptation

关注

原创最新推荐文章于 2026-06-05 11:07:07 发布 2.2k 阅读 AI 写同款· GEO 优化 ›

Cross-Modality Domain Adaptation for Medical Image Segmentation

Unsupervised 3D Semantic Segmentation Domain Adaptation

领域适应（DA）最近引起了医学成像界的强烈兴趣。通过鼓励算法对未知情况或不同的输入数据域具有鲁棒性，域自适应提高了机器学习方法对各种临床环境的适用性。虽然已经提出了各种各样的 DA 技术用于图像分割，但这些技术中的大多数已经在私有数据集或小型公共可用数据集上得到验证。此外，这些数据集主要解决单类问题。为了解决这些限制，crossMoDA 挑战引入了第一个用于无监督跨模态域自适应的大型多类数据集。

Domain Adaptation (DA) has recently raised strong interests in the medical imaging community. By encouraging algorithms to be robust to unseen situations or different input data domains, Domain Adaptation improves the applicability of machine learning approaches to various clinical settings. While a large variety of DA techniques has been proposed for image segmentation, most of these techniques have been validated either on private datasets or on small publicly available datasets. Moreover, these datasets mostly address single-class problems. To tackle these limitations, the crossMoDA challenge introduces the first large and multi-class dataset for unsupervised cross-modality Domain Adaptation.

Aim

挑战的目标是分割两个关键的大脑结构：前庭神经鞘瘤（VS）和耳蜗。虽然 ceT1加权的磁共振成像（MRI）扫描通常用于 VS 分割，但最近的研究表明，高分辨率T2（hrT2）成像可能是 ceT1 的可靠、安全和低成本替代方法。基于这些原因，我们提出了一种无监督的跨模态挑战（从 ceT1 到 hrT2），旨在自动在 hrT2 扫描上执行 VS 和耳蜗分割。训练源和目标集分别是带注释的 ceT1 和未带注释的 hrT2 扫描。

以下是列表中前三的方法：

Self-Training Based Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma and Cochlea Segmentation

Hyungseob Shin ; Hyeon Gyu Kim; Sewon Kim; Yohan Jun ; Taejoon Eo ; Dosik Hwang (Yonsei University)

Challenge Goal

训练集只提供了 CET1 的标签，HRT2 没有标签。需要通过域自适应的方式把源域 CET1 的图像强度分布转到与目标域 HRT2 一样或相似的图像强度分布上（这里隐含不改变 CET1 的图像结构），这样就可以用单模态分割网络（nnUNet）来分割所有原有的 HRT2 和用 CycleGAN 从 CET1 转换过来的 fake-HRT2。毕竟医学图像多模态的定义就是由不同模态在同一解剖区域成像敏感度不同，导致的图像强度分布不同，从而难以用单个网络来分割多模态医学图像。

Method

在本文中，我们提出了一种新的无监督跨模态医学图像分割方法，并在前庭神经鞘瘤 (VS) 和耳蜗分割上对其进行了验证。 VS 的快速准确诊断在临床工作流程中非常重要，用于此的最典型 MR 协议包括对比增强 T1 加权 (ceT1) 和高分辨率 T2 加权 (hrT2) 扫描。为此，提出了从一对 ceT1 和 hrT2 图像中分割 VS 和耳蜗的研究 [1]。在这项研究中，我们的目标是对 VS 和耳蜗进行分割。hrT2 扫描使用基于自我训练的无监督方法，在有注释的 ceT1 和无注释的 hrT2 扫描上进行训练。我们的方法包括

我们的方法包括 4 个主要步骤：

从 CET1 扫描到 HRT2 扫描的保留 VS 结构的域转换，然后是自训练方案，其中包括：
使用合成的 HRT2 进行有监督 VS 分割训练（因为合成的 T2 扫描原本带有注释），
用训练好的 nnUNet 在无注释的真实 HRT2 扫描上生成伪标签，以及
通过结合真假 HRT2 数据（即真实 T2 扫描及其伪标签、带有真实标签的 T2 扫描）进一步训练，提高 VS 和耳蜗分割的泛化性能。

考虑到我们的任务是在 hrT2 图像上预测 VS 和 Cochlea，我们首先使用 cycleGAN 将我们有标签的 ceT1 图像转换为 hrT2 图像，从而在之后用生成的 hrT2 图像训练分割模型。提出的图像强度转换（域适应）网络使用 2D CycleGAN。

Unsupervised Domain Adaptation in Semantic Segmentation Based on Pixel Alignment and Self-Training (PAST)

Hexin Dong，Fei Yu，Jie Zhao，Bin Dong，and Li Zhang

为了解决这个问题，我们提出了一种结合像素级对齐和自训练（PAST）的有效且直观的 UDA 方法。首先，我们将有标签图像从 ceT1 域转移到 hrT2 域，以便图像可以对齐到相同的分布。其次，在转换的 ceT1 扫描和 hrT2 扫描生成的伪标签上进一步训练模型，它们在 hrT2 域上找到了更好的决策边界。实验结果表明，我们的方法大大减少了域偏移，并在验证集上以 0.8395 的骰子得分获得了第二名。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3QFTaRgE-1641350566118)(C:\Users\SkrBang\AppData\Roaming\Typora\typora-user-images\image-20220104232231918.png)]

Using Out-of-the-Box Frameworks for Unpaired Image Translation and Image Segmentation for the crossMoDA Challenge

Jae Won Choi

我们使用 CUT，这是一种 patch-wised 对比学习和对抗性学习的 unpaired image-to-image translation 的 GAN 模型，以把 CET1 加权的 MR 图像（CET1 域）转到 HRT2 加权的 MR 图像（HRT2 域）的域。接着，对于 HRT2 域进行分割任务，我们利用 nnU-Net ¹，这是一个在医学图像分割中表现出最先进性能（state-of-the-art）的框架。

我们沿 z 轴对 CET1 3D 图像进行切片以获取大小为 256 × 256 像素的 N 个图像，因为 CUT 仅支持 2D 图像进行训练。

我们把训练集中的所有 CET1 图像在经过训练的域适应模型 CUT 上转换来获取假的 HRT2 图像。生成的假 HRT2 图像沿 z 轴堆叠，以重建训练集中 CET1 的 3D 数据。来自训练集中相应 CET1 图像的假 HRT2 图像和相应的标签用于训练分割模型。

我们的结果表明，公开可用的通用深度学习框架可以在没有新网络或方法的情况下在医学成像中实现一定程度的性能。由于挑战的情况，这项研究涉及有限范围的超参数。对不同预处理和数据增强的进一步实验可能会提高性能。此外，有必要与其他开箱即用的框架进行比较。

，这项研究涉及有限范围的超参数。对不同预处理和数据增强的进一步实验可能会提高性能。此外，有必要与其他开箱即用的框架进行比较。

sensee, F., Jaeger, P.F., Kohl, S.A., Petersen, J., Maier-Hein, K.H.: nnu-net: a selfconfiguring method for deep learning-based biomedical image segmentation. Nature methods 18(2), 203–211 (2021) ↩︎

收录于