【论文阅读笔记】MGIML: Cancer Grading with Incomplete Radiology-Pathology Data via Memory Learning and Gradi

Wang P, Zhang H, Zhu M, et al. MGIML: Cancer Grading with Incomplete Radiology-Pathology Data via Memory Learning and Gradient Homogenization[J]. IEEE transactions on medical imaging. 2024
IF 10.6 SCIE JCI 2.38 Q1 医学1区 Top

【核心思想】

本文提出了一个新的框架，名为MGIML，用于处理不完整的放射学-病理学数据进行癌症分级。主要创新在于利用记忆学习和梯度均衡化来处理数据的不完整性问题。具体来说，论文介绍了两个关键方案：记忆驱动的异质模态补全（MH-Complete）和旋转驱动的梯度均衡化（RG-Homogenize）。这些方法旨在提高模型在处理不完整数据时的性能，通过记录和阅读跨模态记忆来补充丢失的模态信息，同时优化梯度方向和大小的冲突，以提高癌症分级的准确性和效率。

【Introduction】

本文的引言部分写的很好，这里直接全文翻译如下：

本文的引言部分指出，癌症分级是一个重要的临床任务，它依赖于放射学和病理学数据。然而，这些数据往往是不完整的，这对癌症分级的准确性构成了挑战，值得构建一个能够有效适应不同模态缺失情况的稳健模型。最近的主流解决方案包括：（1）知识蒸馏方法，将多模态教师学到的知识转移到单模态学生； （2）模态生成方法，使用可用的模态合成缺失的模态，以提供完整的模态输入数据； （3）共享信息提取方法，学习提取模态不变信息，从而使模型保持稳定和有效的性能； （4）模态掩蔽方法，通过随机丢弃一些模态来模拟模态丢失的情况来提高模型的鲁棒性。

利用不完整的放射病理学数据训练一个强大的癌症分级模型仍然面临两个挑战：（1）模态特定信息的丢失； (2) 模态缺失情况之间的冲突。

首先，由于任务只涉及两种模态，缺少一种模态通常会导致丢失相应的模态特定信息。与同质多模态 MRI 或 PET 图像不同，放射学和病理学数据具有对比的成像模式。因此，缺失模态特定信息中的许多判别性表示很难从现有模态中提取，这将影响一些缺失模态方法的性能。此外，跨模态合成是一种直观有效的解决方案，它采用可用的模态来生成缺失的模态以获得完整的多模态输入。然而，由于图像外观、颜色和结构之间存在巨大差距，直接使用图像级模态生成方法生成异构放射学和病理学数据具有挑战性。为了减少模态间成像间隙，另一种方法是在特征级别生成缺失的模态。最近的研究表明，记忆网络可以有效地记录通用特征模式，然后产生高相关性记忆特征。考虑到这一点，论文在特定于模态的分类记忆库中记录放射学和病理学特征，并设计一种有效的跨模态记忆读取策略来填充缺失的模态信息，这可以解决第一个挑战。其次，最近的工作建议在训练中采用部分不完整的多模态数据来模拟可能的缺失模态情况，以提高模型的鲁棒性。在本文中作者发现缺失模态特征通常由现有模态主导，导致缺失模态情况之间的梯度不一致。具体来说，这些缺失模态的情况将表现出不同的性能，并在优化过程中做出不一致的贡献。一方面，当梯度大小冲突时，高性能的情况将主导优化，导致优化不平衡问题。另一方面，当梯度方向冲突时，所有缺失模态的情况都将遭受不充分的优化。以前的缺失模态方法未能深入考虑这些问题，但最近的多任务学习工作表明，减轻任务之间的梯度冲突有利于解决上述问题。因此，可以将每个缺失模态的情况视为一个独立的任务，然后消除梯度方向和幅度冲突来处理第二个挑战。

在本文提出了一种记忆和梯度引导的不完整模态学习（MGIML）框架来实现不完整的放射病理数据癌症分级。首先提出了一种记忆驱动的异模态补充（MH-Complete）方案来弥补由于模态缺失而导致的模态特定信息的丢失。在MHComplete中，作者构建了模态特异性记忆库，在训练中分别记录放射学和病理学特征，并设计了跨模态记忆读取策略，采用现有模态读取缺失模态记忆库，从而提供缺失的模态特异性信息。作者还提出了粗粒度内存增强（CMB）和细粒度内存一致性（FMC）损失，以分别提高内存项的质量和跨模式内存读取的准确性。然后，提出了一种旋转驱动的梯度均质化（RG-Homogenize）方案来共同缓解缺失模态情况之间的梯度方向和幅度冲突。提出估计特定于实例的旋转矩阵来平滑缩小特征级梯度之间的方向差距，从而消除负迁移问题，而不是直接改变参数级梯度方向。同时，根据预测置信度在每个训练步骤中产生动态同质化权重，这些权重很好地平衡了不同缺失模态梯度的贡献，从而缓解了优化不平衡问题。主要贡献总结如下：

• 在多模态学习中，作者发现在缺失模态情况下存在潜在的梯度冲突，这会带来优化不平衡和负面转移问题，从而限制性能，论文从梯度优化的角度解决这些问题。
• 提出了MH-Complete来弥补缺失模态信息，通过记录特定模态的特征模式和阅读跨模态记忆来实现。
• 提出RG-Homogenize来解决优化不平衡和负面转移问题。它通过执行特征层级的梯度旋转和基于信心的梯度调制，分别减轻梯度方向和大小的冲突。
• 实验表明，提出的框架在不完整的放射学-病理学数据癌症分级方面优于现有最先进的方法，并有助于解决临床相关问题。

【II. RELATED WORKS】

A. Multi-modal Learning with Missing Modalities

主要讨论了在多模态学习中处理缺失模态的问题。这一部分强调了多模态学习在医学成像和其他领域的重要性，尤其是在数据可能不完整或缺失某些模态的情况下。在实际应用中，例如医学成像，由于各种原因（如技术限制、成本或患者条件等），收集到的数据可能不包含所有相关的模态信息。常见的处理方式如：知识蒸馏、模态生成方法、共享信息提取方法。这些方法通常忽略了缺失的异模态中重要的模态特定特征。

B. Memory Learning

记忆学习是一种特殊的机器学习方法，它通过构建和利用内部记忆机制来存储和检索重要信息。这种方法在处理缺失模态的情况下尤为重要，因为它可以帮助补充丢失的信息，并提高模型的整体性能。在多模态学习的背景下，记忆学习可以用于记录每个模态的特定特征模式。当某个模态缺失时，这些记录的模式可以用于预测或估计缺失模态的信息，从而允许模型利用所有相关模态进行更准确的决策和预测。在多模态学习的背景下，记忆学习可以用于记录每个模态的特定特征模式。当某个模态缺失时，这些记录的模式可以用于预测或估计缺失模态的信息，从而允许模型利用所有相关模态进行更准确的决策和预测。本文提出的MHComplete用于具有缺失模态的多模态学习，它记录模态特定信息并在训练中学习跨模态阅读，从而可以在测试中从存储良好的记忆中有效地补救缺失模态信息。

C. Gradient Optimization

在多任务学习中，许多研究证明梯度优化可以有效缓解优化不平衡和负迁移问题。在处理不完整的多模态数据时，可能会出现梯度方向和大小之间的冲突。这些冲突可能导致优化过程中的不平衡，进而影响学习模型的性能。例如，一个模态的强大梯度可能会压倒其他模态，导致模型无法有效地从所有可用模态中学习。因此，需要特别的策略来处理这些冲突，确保模型可以平衡地从所有模态中学习。

【III. METHODOLOGY】

整体工作流程概述：给定放射学数据 { x n r , y n } n = 1 N \left\{x_{n}^{r}, y_{n}\right\}_{n=1}^{N} { xnr​,yn​}n=1N​ 和病理学数据 { x n p , y n } n = 1 N \left\{x_{n}^{p}, y_{n}\right\}_{n=1}^{N} { xnp​,yn​}n=1N​ 作为输入，其中 $y_n$ 是共享的真实标签，我们首先采用特定于模态的编码器 $E_r$ 和 $E_p$ 来提取放射学和病理学特征 $Z^r$ 和 $Z^p$。

在 MH-Complete 中，构建特定于模态的记忆库，分别记录放射学和病理学特征模式，这些模式可以根据现有模态提供缺失模态信息。例如，$Z^r$ 首先更新放射学模态记忆库的相应类别，然后转换为病理学模态查询 Zr2p，交叉读取病理学模态记忆库，产生基于记忆的病理学特征 $Z^{r2p}$。通过融合 $Z^{r2p}$ 和 $Z^r$，产生缺失的病理学模态特征 $D^r$。同样，可以获得缺失的放射学模态特征 $D^p$。

在 RG-Homogenize 中，共享编码器 $E_s$ 将 $D^r$ 和 $D^p$ 作为输入来预测特征 $S^r$ 和 $S^p$。它们被输入到一个旋转估计模块（RotEblock）中，以估计用于特征级别梯度旋转的旋转矩阵 ${\mathcal{R}}^r$ 和 ${\mathcal{R}}^p$。之后，RotEblock 通过一个精心设计的旋转损失进行优化，然后特征级别的缺失模态梯度分别与更新后的 ${\mathcal{R}}^r$ 和 ${\mathcal{R}}^p$ 相乘，以减少梯度方向冲突。另一方面，根据预测置信度计算的均衡化权重 ${\tau }^r$ 和 ${\tau }^p$，用于平衡缺失模态情况的贡献，这缓解了梯度大小冲突。

采用交替优化方案来训练提出的框架。首先，使用旋转损失 ${\mathcal{L}}_{ROT}$ 优化 RotEblock 以产生旋转矩阵。接下来，使用它们来旋转特征级别的梯度，然后应用交叉熵（${\mathcal{L}}_{CE}$）、CMB（${\mathcal{L}}_{CMB}$)和 FMC（${\mathcal{L}}_{FMC}$）损失来联合优化模型的其余参数。

A. Memory-driven Hetero-Modality Complement

MH-Complete的目的：由于放射学和病理学数据之间的异质性，从现有模式中提取缺失模式信息非常困难。MH-Complete旨在记录模式特定的特征模式，然后为现有模式提供缺失模式信息。

MH-Complete的组成部分：

(1)模式内存更新：涉及在内存库中记录模式特定的特征模式。放射学和病理学的特征模式被分别记录，以提供缺失模式的信息。

具体流程：

• 特征提取：使用模式特定的编码器（$E_r$ 和 $E_p$）从放射学（$X_r$）和病理学（$X_p$）图像中提取特征（$Z^r$ 和 $Z^p$）。这些特征被重塑为MH-Complete的输入。

• 内存库构建：构建放射学和病理学模式特定的内存库（$Y_r$ 和 $Y_p$），用于分别存储放射学和病理学的类别特征。这些内存库可以存储类别信息，方便后续的特征匹配和更新。

• 相似性计算与内存更新：

  • 计算输入特征（例如$Z^r$）和内存库（例如$Y_r$）之间的相似性矩阵${\omega }^r$。这涉及计算内存项和查询项之间的余弦相似性:${\omega }_{i,j,k}^r=\frac{m_{i,k}\cdot z_j}{\Vert m_{i,k}|\Vert \mid z_j\Vert }$。
  • 使用移动平均法根据相似性矩阵更新内存库中的相应类别。这意味着内存项会根据与它们最相似的查询项进行更新:$m_{i,k}\leftarrow \gamma m_{i,k}+(1-\gamma )\frac{{\sum }_{j}1\left(l_{(}j\right)=i)z_j}{{\sum }_{j}1\left(l_{(}j\right)=i)}\text{, if }k=y$

• CMB损失的作用：

  • 引入粗粒度内存增强（CMB）损失和细粒度内存一致性（FMC）损失，以提高内存项的质量和跨模式内存阅读的准确性。
    • CMB损失的目的：旨在确保每个内存类别可以存储可靠的信息，并提高类内语义相似性和类间语义差异。
    • **实现机制：**属于第$k$类的特征可以在第$k$个记忆类别中获得较高的相似度，而在其他记忆类别中获得较低的相似度。如：采用放射学特征$Z^r$读取更新后的$Y_r$，重新计算相似度矩阵${\omega }^r$。然后，通过对 ωr 的每一类进行max-mean值运算，得到粗粒度相似度矩阵 ${\varpi }^r\in {\mathbb{R}}^K$： ϖ k r = 1 F H W ∑ i = 1 max ⁡