30、基于融合的图像与临床数据深度多模态集成

基于融合的图像与临床数据深度多模态集成

1. 多模态学习概述

在医疗应用领域，基于深度学习的多模态学习解决方案不断涌现。深度学习的多模态融合是一个令人兴奋的新研究领域，它能够对高维数据中隐藏的复杂过程进行高层次抽象。深度学习在单模态诊断和预测方面已展现出良好前景，但由于不同临床模态包含的信息多样且数据格式不同，成功集成多模态数据并非易事。

诊断和预后通常基于患者的图像和非图像数据。图像数据可以是简单的 X 光片或复杂的病理切片。若连续照片的像素处于相同物理位置，则称图像数据为像素对齐；反之则为像素未对齐。非图像数据包括人口统计学实验室测试结果，如血液样本。多模态学习系统的输入复杂，可能同时包含图像和文本。二维病理图像展示微观形态，而三维 CT 或 MRI 扫描可显示癌症的宏观和地理信息。此外，结构化 DNA 和 mRNA 序列所呈现的分子、生物和化学特征，在临床决策中也起着关键作用。图像数据通常规模大且密集（数百万像素），与稀疏的低维数据不同，这使得图像数据在数据源中独具特色。为有效捕捉共同和互补信息以改善诊断和预后，需要进行许多预处理和特征提取程序，例如针对不同维度、图片、自由文本和表格数据的处理。

2. 数据情况

本研究分析的数据来自海得拉巴的 DVR 诊断。为准确诊断肾脏疾病，需从多种来源收集数据。

2.1 临床数据

临床数据集包含构成慢性肾脏疾病数据集的字段、标题、简要定义和数据类型。该数据集共有 25 个特征和 400 个样本，其中“类别”是疾病预测的重点领域。24 个属性中，11 个为数值型，14 个为类别型。

临床数据预处理步骤如下：
- 处理缺失值