【论文阅读笔记】M3Care: Learning with Missing Modalities in Multimodal Healthcare Data

本文介绍了一种名为“M³Care”的模型，旨在处理多模态医疗保健数据中的缺失模态问题。这个模型是端到端的，能够补偿病人缺失模态的信息，以执行临床分析。M³Care不是生成原始缺失数据，而是在潜在空间中估计缺失模态的任务相关信息，利用来自具有相似未缺失模态的其他病人的辅助信息。该模型通过任务引导的模态适应性相似性度量来找到相似的病人，并据此进行临床任务。实验表明，M³Care在多种评估指标上超越了现有的基线模型，并且其发现与专家意见和医学知识一致，显示出提供有用见解的潜力。【开放源码】

一.论文概述

1. 端到端模型设计：M³Care是一个端到端的模型，能够直接处理具有缺失模态的患者数据，补偿这些缺失信息，以执行临床分析。

2. 任务相关信息的估计：与传统方法不同，M³Care不是直接生成原始缺失数据，而是在潜在空间中估计缺失模态的任务相关信息。这种方法避免了直接处理原始数据的不稳定性和复杂性。

3. 利用相似患者的辅助信息：M³Care模型通过任务引导的模态适应性相似性度量来识别相似的患者，并利用这些相似患者的未缺失模态数据来估计目标患者的缺失信息。

4. 临床任务的有效执行：模型能够利用估计出的任务相关信息来有效执行临床任务，如疾病诊断或预后预测。

5. 实验验证：作者通过在真实世界数据集上的实验，展示了M³Care在各种评估指标上优于现有基线模型的性能，并且其发现与专家意见和医学知识一致，显示出提供有用见解的潜力。

二.模型结构

• Unimodal Representation Extraction：使用不同的特征抽取模型抽取各自模态特征，图上很清楚，不赘述。

• Similar Patients Discovery and Information Aggregation：包含如下：

  • task-guided modality-semantic-adaptive similarity metric：使用特殊的核函数方法度量，而不是传统的余弦相似度。

    $k_{{\omega }_m}\left({\mathrm{h}}_i^m,{\mathrm{h}}_j^m\right)=[\left(1-{\delta }_m\right)k\left({\varphi }_{{\omega }_m}\left({\mathrm{h}}_i^m\right),{\varphi }_{{\omega }_m}\left({\mathrm{h}}_j^m\right)\right)+$