35、视网膜图像多模态重建的深度学习方法

视网膜图像多模态重建的深度学习方法

1. 多模态重建概述

多模态重建是互补医学成像模态之间的图像转换任务，目标是根据不同互补成像模态的特征，对给定的医学图像重建其底层组织和器官。这里主要聚焦于从视网膜照相术到荧光素血管造影术的多模态重建。

视网膜照相术和血管造影术是两种互补的视网膜成像模态，都能呈现眼底情况，包括主要解剖结构和可能的病变。二者的主要区别在于，血管造影术在图像采集前需要注射造影剂，这会增强视网膜血管以及有血流的病理结构的显示，同时可能会减弱无血流的视网膜结构和组织在图像中的显示。因此，视网膜照相术和血管造影术之间存在复杂的关系，它们之间的视觉转换取决于不同组织中血流的存在等物理特性。

近年来，通过使用深度神经网络（DNNs）克服了视网膜照相术和血管造影术之间多模态重建的困难。所需的多模态转换可以建模为一个映射函数 (G_{R2A}: R \to A)，给定一个视网膜照相术图像 (r \in R)，返回同一眼睛对应的血管造影术图像 (a = G_{R2A}(r) \in A)。这个映射函数可以由DNN参数化，通过适当的训练策略学习函数参数。下面介绍两种基于深度学习的方法来学习这个映射函数：循环生成对抗网络（GAN）方法和配对结构相似性指数（SSIM）方法。

2. 循环GAN方法

• 原理 ：循环GAN方法基于生成对抗网络（GANs）来学习从视网膜照相术到血管造影术的映射函数。GANs已被证明是学习特定训练集数据分布的有用工具，能够生成与训练数据相似的新图像。在多模态重建中，生成的图像不仅要与真实的血管造影术图像相似，还要反映特定视网膜照相术图像的物理属性。与原始GAN方法不同，