（脑肿瘤分割笔记：五十九）基于双向全局到局部无监督自适应跨模态的脑肿瘤分割

目录

摘要

Introduction

无监督域适应方法

方法

3.1框架概述

3.2双向交叉模态图像合成

3.3注意双重注意的细分网络

3.4全局->局部的自适应模块

3.5损失函数

 总结

---

摘要

在不同的模态之间存在着域转移，当在一种模态上训练并在另一种模态中执行时，网络的性能会急剧的下降--遇到的问题

为了克服这一问题，无监督域自适应提供了有效的解决方案，来缓解标记源数据和未标记目标数据之间的域偏移。本文在无监督域自适应的方案下提出了一种新的双向全局到局部（BiGL）自适应框架。具体而言，提出了一种双向图像合成和分割模块，用于使用为两个域生成的中间数据分布来分割脑肿瘤，其中包括图像到图像转换器和共享加权分割网络。此外，还提出了全局到局部一致性学习模块，以集成的方式构建鲁棒的表示对齐。

Introduction

UDA无监督域自适应方法旨在提高从标记数据（即源域）学习和对不同的未标记数据（如目标域）进行域移位时的模型泛化能力。

我们提出了一个框架，当对另一序列的MR图像（即源域）进行训练时，可以在一个MR图像序列（即目标域）中准确描绘脑肿瘤，反之亦然。在训练阶段，该方法随机选择两幅未配对的图像（每个域一幅图像）作为输入。然后，图像被发送到由两个主要组件组成的框架。

首先，为了缩小两个领域之间的差距，引入了双向图像生成和分割模块。它首先为每个原始图像生成一个合成图像，然后使用编码器-解码器架构分割所有图像（即原始图像和合成图像）应用于网络的新型全局到本地适配器（GTA）进一步调整了图像的特征和输出。从全局角度来看，适配器通过假设一个对象共享同一标签，在输出空间中对齐一个对象的真实图像和合成图像。它还通过常用的特征对齐来对齐不同主题的真实图像和合成图像。

无监督域适应方法

无监督领域自适应方法大致可分为两类，即一步UDA方法和多步领域自适应方法。

一步UDA方法通常通过最小化两个域的距离来简单地对齐它们的特征分布，该方法对原始域数据进行对齐，但网络很难最小化巨大的域差异。

<