医学多模态基础模型（MMFMs）

• 背景介绍
  • 技术发展：人工智能的快速发展对医学数据分析产生了重要影响，基础模型和大型多模态模型的出现为医学影像分析带来了新的机遇。
  • MMFMs的发展
    • 基础模型：介绍了基础模型的概念、发展历程和关键因素，包括计算硬件、Transformer架构和大规模训练数据。
    • 多模态医学图像分析：多模态医学成像的融合提高了诊断精度和治疗规划水平，深度学习方法在多模态医学图像分析中表现出色。
    • 大规模医疗数据集：医学成像基础模型依赖大规模、多样化和多模态数据集，数据的采集、集成和标注面临挑战。
• MMFMs的模型架构
  • 医学多模态视觉基础模型（MMVFMs）
    • 代理任务：通过分割、生成、对比和混合等代理任务，增强模型提取临床相关特征的能力。
    • 具体模型
      • 分割代理任务：包括SAM、MedSAM、SAM-Med2D等模型，在医学图像分割中取得了进展，但仍面临处理复杂结构和3D图像等挑战。
      • 生成代理任务：如Masked Image Modeling（MIM）及其相关方法，通过重建图像来学习丰富的视觉表示，但在医学图像分析中存在一些局限性。
      • 对比代理任务：对比学习方法如SimCLR、Momentum Contrast（MoCo）等，有助于捕捉跨模态特征，提高模型的泛化能力。
      • 混合代理任务：如DIRA、DAE等框架，结合了多种学习策略，在医学图像分析任务中表现良好。
  • 医学多模态视觉 - 语言基础模型（MMVLFMs）
    • 视觉 - 语言表示：对比语言 - 图像预训练（CLIP）通过对齐图像和文本特征，实现跨任务的通用能力。
    • 医学CLIP：直接使用CLIP处理医学图像存在挑战，需要改进预训练过程，以更好地捕捉医学图像的局部特征和复杂的文本描述。
• MMFMs的应用
  • 放射学报告
    <