Medical Image Synthesis with Context-Aware Generative Adversarial Networks （简介）

最新推荐文章于 2024-07-23 10:04:39 发布

二亩三分地

最新推荐文章于 2024-07-23 10:04:39 发布

阅读量1.4k

点赞数

分类专栏：医学成像相关

医学成像相关专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一种使用三维FCN结构从MRI生成CT图像的方法，结合对抗式训练和图像梯度差损失以提高图像清晰度。通过Auto-Context模型进行迭代细化，增强上下文信息的捕获，提升图像合成质量。训练过程采用交替方式进行，生成器和判别器分别进行更新。网络结构避免使用池化层，确保细节捕捉。最后，通过多次迭代的生成器网络来逐步改进MRI到CT的转换效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是关于MRT-to-CT。
首先，提出一个基本的三维FCN结构来估计从MRI得到的CT图像。三维操作可以更好地对三维空间信息进行建模，从而可以解决切片间的不连续问题。其次，利用对抗式训练策略对所设计的网络进行训练。还在生成器的损失函数中加入了一个图像梯度差项（image gradient difference），目的是保持产生的CT的锐度。最后，使用Auto-Context模型对生成器的输出进行迭代细化。

一、文中提到的loss：

1. adversarial loss：

判别器D的 loss 函数：

$L_{D} = L_{bce}(D(x),1)+L_{bce}(D(G(x)),0)$

x：输入的MRI图像

$L_{bce}$ ：二元交叉熵loss，

$L_{bce}(\hat{y},y)=-\frac{1}{N}\sum_{i=1}^{N}y_{i}log\hat{y_{i}}+(1-y_{i})log(1-y_{i})$ ， $y\varepsilon \left \{ 0,1 \right \}$ ， $\hat{y}\epsilon [0,1]$

N：一个minibatch中的样本数量

生成器G的 loss 函数：

$L_{G}=\lambda _1L_{bce}(D(G(x)),1)+\lambda _2\left \| Y-G(x) \right \|_2^2$

包括一个adversarial term和一个reconstruction error，其中，Y是相对应的真实CT。

2. gradient difference loss（gdl）

首先要了解图像梯度的概念：https://blog.youkuaiyun.com/image_seg/article/details/78790968

为了处理L2损失函数(G的loss)造成的固有模糊预测，在生成器训练中嵌入图像梯度差损失函数。

生成的CT与真实CT的梯度差损失(gdl)：

$L_{gdl}=\left | \left | \bigtriangledown Y_{x} \right | - \left | \bigtriangledown \hat{Y_{x}} \right | \right |^2+\left | \left | \bigtriangledown Y_{y} \right | - \left | \bigtriangledown \hat{Y_{y}} \right | \right |^2+\left | \left | \bigtriangledown Y_{z} \right | - \left | \bigtriangledown \hat{Y_{z}} \right | \right |^2$

Y是真实图像， $\hat{Y}$ 是生成的图像。这个损失函数试图最小化预测图像和真实CT之间梯度大小的差异。这样，预测的数据将尝试保留具有强梯度的区域(例如边缘)，以便有效地补偿L2项。最后，将用于训练生成器G的总损失定义为所有项的加权和，如下式所示：

$L(X,Y) = L_{G}(X,Y)+\lambda _3L_{gdl}(X,Y)$

二、训练方式：

训练以交替的方式进行：首先，通过获取一小批真实CT数据和一小批生成的(G的输出)数据来更新D。然后，使用另一小批样本(包括MRI及其对应的CT)更新G。

三、网络结构：

在体系结构方面，使用了批处理规范化，并且避免使用池化层，因为池化层降低了特征图的空间分辨率。虽然这一特性在某些任务中是可取的，例如图像分类，但在图像预测任务中不可取，因为在预测过程中需要精确捕捉细微的图像失真。

下图展示了该网络的体系结构。

1. 生成器具有上面提到的约束，其中数字表示过滤器的大小。该网络以MRI图像为输入，并尝试生成相应的CT图像。它有8个阶段，分别包含卷积、批处理标准化和ReLu操作，过滤器数量分别为32、32、32、64、64、64、32、32。最后一层仅包含32个卷积滤波器，其输出被认为是估计的CT。

2. 判别器是一个典型的CNN架构，包括三个阶段——卷积+批规范化+ ReLu + Max池化以及一个卷积层和三个全连接层的结合，前两个用ReLu激活函数，最后一个使用sigmoid。滤波器大小为5×5×5，卷积层的滤波器个数为32、64、128和256，全连通层的输出节点个数为512、128和1。

3. Auto-Context 模型（ACM）

由于该网络是基于patch的，所以每个训练样本的上下文信息在patch中是有限的，这影响了网络的建模能力。利用医学图像分析中常用的Auto-Context模型来扩展训练过程中的上下文。其思想是对多个分类器进行迭代训练，每个分类器不仅用特征数据进行训练，还用前一个分类器得到的概率图进行训练，从而为分类器提供额外的上下文信息。

在测试时，每个分类器将一个接一个地处理特征，将概率映射连接到输入特征。在这篇论文中，没有构建几个分类器，而是使用生成器网络，也没有连接概率图，而是连接上一个生成器网络的输出。具体来说，反复训练若干个GAN神经网络，输入 MRI patch，并估计相应的 CT patch。这些 patch 作为 MRI patch 中的第二通道连接起来，并将这些新数据作为下一个GAN训练的输入。该方案的示意图如下图所示：