36、视网膜图像多模态重建实验与结果分析

视网膜图像多模态重建实验与结果分析

1. 数据集

本次实验使用的是一个包含 118 对视网膜造影 - 血管造影图像的多模态数据集，该数据集由两个不同的图像集合组成：
- 伊斯法罕 MISP 公共数据集 ：包含 59 对视网膜造影 - 血管造影图像，涵盖了病理和健康两种情况。其中 30 对图像对应的患者被诊断患有糖尿病视网膜病变，另外 29 对对应健康视网膜。所有图像尺寸为 720×576 像素。
- 西班牙当地医院私有数据集 ：同样包含 59 对视网膜造影 - 血管造影图像，大部分图像对应病理情况，包含多种常见眼科疾病的代表性样本。原始图像尺寸不同，均被调整为 720×576 像素。

为进行实验，将完整的多模态数据集随机分成两个大小相等的子集，各有 59 对图像。其中一个子集作为测试集，另一个用于训练多模态重建模型。训练图像对又被随机分为 9 对图像的验证子集和 50 对图像的训练子集，通过验证子集控制训练进度。需要注意的是，对于循环生成对抗网络（cyclical GAN）方法，图像被视为未配对数据。

2. 重建的定性评估

通过视觉分析评估生成血管造影图像的质量和连贯性。从保留的测试集中选取示例，总体而言，两种方法都能学习到视网膜主要解剖结构（血管、中央凹和视盘）的适当转换。
- 血管重建 ：在所有情况下，视网膜血管都得到了成功增强，这是真实血管造影的主要特征之一。这种血管增强表明对视网膜不同结构有较高层次的理解，因为视网膜造影中其他深色结构（如中央凹）在重建的血管造影中主要保持深色调，说明应用的转换是特定于结构的