23、基于生成对抗网络的多模态医学体积翻译与分割

基于生成对抗网络的多模态医学体积翻译与分割

1. 方法概述

本方法主要聚焦于多模态医学体积的翻译与分割任务。在多模态医学成像中，不同模态（如 CT 和 MRI）的图像数据具有各自的特点和优势，但获取配对的跨模态数据往往十分困难。为了解决这一问题，我们提出了一种基于生成对抗网络（GAN）的方法，该方法不仅能够实现不同模态医学图像的翻译，还能利用生成的合成数据提升分割网络的泛化能力。

2. 关键技术点分析

2.1 循环一致性损失

在跨模态图像翻译中，循环一致性损失是一个重要的概念。设 (x_A) 是来自域 (A) 的样本，(x_B) 是来自域 (B) 的样本，循环一致性损失 (L_{cyc}) 使用所有体素上的 (L_1) 损失，相较于 (L_2) 损失，它能呈现出更好的视觉效果。

2.2 体积到体积的形状一致性

为解决循环一致性中几何变换的内在歧义性，我们引入了两个辅助映射 (S_A : A \to Y) 和 (S_B : B \to Y)，用于约束合成数据的几何不变性。这两个映射将来自各自域生成器的翻译数据映射到一个共享形状空间 (Y)（即语义标签空间），并计算像素级的语义归属。这两个映射由两个卷积神经网络（CNN）表示，即分割器。

形状一致性损失的计算公式如下：
[
L_{shape}(S_A, S_B, G_A, G_B) = E_{x_B \sim p_d(x_B)}\left[-\frac{1}{N} \sum_{i} y_{B}^i \log(S_A(G_A(x_B)) i)\right] + E {x_A \sim p_d(x_A)}\