24、医学影像合成——从理论到实践

医学影像合成——从理论到实践

在医学领域，影像合成技术对于深入了解患者的病情和解剖结构至关重要。本文将详细介绍一种基于深度学习的医学影像合成方法——XraySyn，涵盖其实现细节、数据集使用、评估指标、消融研究以及实际应用等方面。

1. XraySyn实现细节

XraySyn分为两个阶段进行训练，具体如下：
- 3DPN训练 ：使用CT体积 $V_{gt}$ 及其骨掩码 $V_{gt}^{mask}$ 来模拟真实的X光片 $I_{T}^{in}$ 和 $I_{T’}^{gt}$。其中，$T$ 和 $T’$ 是在方位角和仰角上从 -18° 到 18° 随机采样得到的。
- 2DRN训练 ：使用真实的X光片作为 $I_{T}^{in}$ 替代模拟的X光片，同时冻结3DPN的参数。由于真实X光片分辨率较高，输入首先通过平均池化进行下采样。由于真实X光片的视角角度不可用，$T$ 和 $T’$ 的采样方式与3DPN训练时类似。在对真实X光片进行测试时，假设 $T$ 为标准正视图，$T’$ 是在方位角上从 -9° 到 9° 均匀分布的20个视角角度。

由于基于体素的表示存在离散化问题，前向和反向投影中使用的光线追踪过程需要对不在坐标网格上的空间点进行近似，这里采用三线性插值方法。整个网络使用Pytorch实现，并在四个Nvidia P6000 GPU上训练了五天。

2. 数据集

训练XraySyn需要CT和X光片数据集，具体使用情况如下：
- 3DPN训练数据集 ：使用LIDC - IDRI数据集，该数据集