【论文阅读笔记】Attention-based multimodal fusion with contrast for robust clinical prediction in the face o

Liu J, Capurro D, Nguyen A, et al. Attention-based multimodal fusion with contrast for robust clinical prediction in the face of missing modalities[J]. Journal of Biomedical Informatics, 2023, 145: 104466.【开源】

该论文介绍了一种用于临床预测的多模态机器学习方法，特别关注在医疗保健数据中缺失模态的情况。

• 目标: 解决整合来自各种医疗来源的结构化和非结构化数据的挑战，同时考虑数据的维度、容量和时间特性的差异。

• 方法: 作者提出了一种基于Transformer的融合模型，名为“基于注意力的交叉模态融合与对比”（ARMOUR），使用特定于模态的代号和对比学习。

• 评估: 使用两种输入模态（结构化测量和非结构化文本），跨六个临床预测任务进行ARMOUR评估，包括两种评估制度 - 包括和排除有缺失模态的患者。

• 数据集：MIMIC-III

• 模型和方法：本文模型方法都较简单，从结构图中就可以看出来

  

  1. 模态特定Tokens（Modality-Specific Tokens）：ARMOUR模型使用模态特定代号来代表和总结每个输入模态。这些特定代号被广泛应用于除文本之外的应用，例如视觉transformers和图神经网络。在AR