【论文阅读笔记】Medical image segmentation on mri images with missing modalities: A review

原创

已于 2023-12-07 16:09:26 修改 · 2.2k 阅读

30 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读 #笔记

于 2023-12-07 16:08:06 首次发布

本文是关于磁共振成像（MRI）图像中缺失模态补偿的综述。探讨了处理MRI序列中缺失模态的方法，包括合成方法和基于深度学习的方法，如共同潜在空间模型、知识蒸馏网络等。还介绍了常用MRI数据集、性能评估方法，指出了当前面临的挑战和机遇。

Azad R, Khosravi N, Dehghanmanshadi M, et al. Medical image segmentation on mri images with missing modalities: A review[J]. arXiv preprint arXiv:2203.06217, 2022.

本文是关于磁共振成像（MRI）图像中缺失模态补偿的综述。它探讨了在医学成像领域，特别是在肿瘤分割、组织分类和图像生成等任务中，如何处理MRI序列中缺失的模态，并克服这种缺失带来的负面影响。文中详细回顾了多种方法，包括早期的合成方法和后来基于深度学习的方法，如共同潜在空间模型、知识蒸馏网络、互信息最大化和生成对抗网络（GANs）。这项研究的主要目的是对缺失模态补偿网络进行性能评估，同时概述未来解决这一问题的策略。此外，文章还强调了最常用的MRI数据集，并对它们进行了描述。

一.Introduction 部分概述

在本文的引言部分中，作者首先介绍了磁共振成像（MRI）作为一种在生物医学成像领域广泛使用的技术，特别是在获取人体软组织如大脑、腹部器官、腿部、脊柱和组织等高对比度图像方面。文中提到了不同类型的MRI序列（如T1加权、T1c加权、T2加权、FLAIR、MP-RAGE和PD加权），每种序列都能揭示人体组织的不同特征，对于确诊和治疗至关重要。

引言还讨论了MRI的一些技术细节，包括它如何利用核磁共振（NMR）原理以及氢原子核的磁性质来产生图像。文中提到MRI虽然是一种有效的成像技术，但也容易受到各种原因引起的伪像影响，这可能导致实际应用中一个或多个成像序列的缺失。

作者指出，解决MRI图像中缺失模态的问题是一个长期存在的挑战，并且已经开发了多种方法来缓解这一问题的负面影响。这些方法包括早期的合成方法和后来的深度学习方法，例如转换模态到共享潜在子空间、知识蒸馏、优化关键特征信息和使用条件生成对抗网络。引言部分为读者提供了对这些技术和方法进行深入讨论的背景和基础。

二.Taxonomy部分概述

在本文的"Taxonomy"部分，作者提出了一个分类体系，用于归类文献中介绍的不同策略，以克服MRI图像中缺失模态的问题。该分类体系概述了主要的语义分割方法，特别强调了在处理缺失MRI模态时所采用的方法。这些方法分为几个主要类别，每个类别都代表了解决问题的一种不同策略：

合成模型（Synthesis Models）：这些模型通过学习从图集图像中提取的最重要特征来重建缺失的模态图像。
共同潜在空间模型（Common Latent Space Models）：这类方法将所有可用模态映射到一个共同的潜在子空间，并尝试使用新构建的潜在表示来恢复丢失的信息。
知识蒸馏网络（Knowledge Distillation Networks）：这些网络通过从一个或多个“教师”网络转移信息到一个“学生”网络来恢复缺失数据。
互信息最大化（Mutual Information Maximization）：这种方法通过计算可用模态间的相似性度量并优化互信息来进行。
生成对抗网络（GANs）：这些方法结合了GAN及其变体，在缺失模态模型框架中被用于补偿丢失的信息。

作者详细介绍了不同类型的MRI（磁共振成像）序列，并说明了每种序列在医学成像中的独特作用和重要性。具体包括：

T1加权序列（T1-weighted）：这种类型的扫描突出显示了人体内的脂肪组织，使得脂肪组织在T1加权图像中比其他解剖组织更亮。
T2加权序列（T2-weighted）：T2加权图像强调了水分和脂肪，使得脂肪和水组织在图像中显示为高亮。
对比增强的T1加权序列（Contrast enhanced T1-weighted，即T1c-weighted）：这种成像方法通过注射钆基对比剂来缩短T1松弛时间，以更好地检测血脑屏障受损的病变。
流体衰减反转恢复（Fluid Attenuation Inversion Recovery，FLAIR）：FLAIR扫描在外观上与T2加权扫描类似，但脑脊液显示为暗色而非亮色。
磁化准备-快速梯度回波（Magnetization Prepared - RApid Gradient Echo，MP-RAGE）：这种序列有助于详细展示特定组织的特点。

文章特别指明：因为每种模式都包含特定的信息，而使用其他模式可能无法完全恢复这些信息。