37、视网膜图像多模态重建与视频异常检测技术解析

视网膜图像多模态重建与视频异常检测技术解析

视网膜图像多模态重建

视网膜图像的多模态重建是一项新颖的任务，涉及在互补模态之间进行医学图像的转换。通过这种重建，可以从容易获取的替代成像方式估算出更具侵入性或成本更高的成像模态。例如，从视网膜照相估算荧光素血管造影，后者需要向患者注射造影剂。

循环GAN与配对SSIM的对比

为了全面分析循环GAN方法，将其与未使用GAN的先进方法（配对SSIM）进行了详尽对比。对比在相同数据集、网络架构和训练策略下进行，以确保公平性。

• 数据要求
  • 循环GAN使用未配对数据，而配对SSIM使用配对数据。在医学成像中，由于临床实践中常用互补成像模态，配对数据相对容易获取。但配对SSIM的缺点是需要注册图像对，即不同的解剖和病理结构必须对齐。
  • 配对SSIM中应用的多模态配准方法在视网膜照相 - 血管造影对的对齐方面已被证明是可靠的，但对于一些复杂情况，如低质量图像或严重病理，配准性能会降低。此外，该配准方法具有领域特异性，不能直接应用于其他类型的多模态图像对。相比之下，循环GAN可以直接应用于任何多模态设置，无需注册或配对数据。

• 训练复杂度

  • 循环GAN是一种更复杂的方法，包括四个不同的神经网络和两个训练周期。而配对SSIM在完成多模态图像配准后，只需要训练一个神经网络。
  • 循环GAN使用四个不同的网络，在训练时需要更多的计算内存。在资源有限的情况下，这会负面影响