【论文阅读笔记】Medical Image Segmentation on MRI Images with Missing Modalities: A Review

Azad R, Khosravi N, Dehghanmanshadi M, et al. Medical image segmentation on mri images with missing modalities: A review[J]. arXiv preprint arXiv:2203.06217, 2022

【概述】

这篇文章讨论了磁共振成像(MRI)中缺失模态的处理问题及其对生物医学成像的负面影响。文章指出，缺失的MRI序列应得到补偿，而补偿由于缺乏一种或多种模态而丢失的有用信息的负面影响是一个众所周知的挑战，本文针对的是在推理时缺失一个或多个模式，而训练时可以访问完整的模式数据集(如T1w、Tw2、T1c和Flair)的情况。文章回顾了各种用于缓解这个问题负面影响的网络，包括早期的合成方法以及后来的深度学习方法，如公共潜在空间模型、知识蒸馏网络、互信息最大化、生成对抗网络(GANs)等。文章讨论了目前最常用的MRI数据集，并强调了未来处理这个问题的策略。最后，文章提出了一个评估缺失模态补偿网络的性能，并勾勒出未来处理这个问题的策略。总之，该文主要探讨了如何处理MRI中缺失模态的问题，并回顾了各种缓解这个问题负面影响的方法，为未来处理这个问题提供了参考。

1.磁共振成像(MRI)中缺失模态会带来哪些负面影响？

• 不完整的图像信息：如果缺失了某个特定的模态，将会导致MRI生成的图像信息不完整，影响医生对病情的诊断和治疗。
• 误导性的诊断结果：由于缺失模态可能导致MRI生成的图像不准确，医生可能会得出错误的诊断结果，从而给患者带来不必要的风险和伤害。
• 延误治疗时间：如果因为缺失模态而无法准确诊断病情，将会延误患者的治疗时间，加重病情，甚至可能导致更严重的后果。
• 增加医疗成本：由于MRI设备通常很昂贵，而且使用过程中需要专业人员操作和维护，如果因为缺失模态而需要进行额外的检查或试验，将会增加医疗成本和患者的经济负担。

2.文章中提到的缓解磁共振成像(MRI)中缺失模态负面影响的方法有：

• 合成方法：这是早期的技术，通过它可以根据已有的模态生成缺失的模态。
• 深度学习方法：包括常见的潜在空间模型、知识蒸馏网络、互信息最大化、生成对抗网络（GANs）等。

3.处理磁共振成像（MRI）中缺失模态的问题，未来的处理策略应该关注以下几个方面：

• 跨模态信息融合：在生物医学成像中，不同模态的图像提供了不同类型的信息，如解剖结构和功能信息。因此，可以采用跨模态信息融合的方法，将不同模态的图像信息进行融合，以提供更全面、准确的诊断信息。
• 图像重建算法：针对缺失的MRI序列，可以开发图像重建算法，利用已有的其他序列重建出缺失序列的图像。例如，可以采用基于深度学习的图像重建算法，利用大量的训练数据，学习从其他序列到缺失序列的映射关系，从而重建出高质量的缺失序列图像。
• 多序列