RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models

最新推荐文章于 2025-11-25 12:20:36 发布

UnknownBody

最新推荐文章于 2025-11-25 12:20:36 发布

阅读量276

点赞数

CC 4.0 BY-SA版权

分类专栏： RAG for LLM Multimodal 文章标签：语言模型机器学习人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137052480

LLM 日更同时被 3 个专栏收录

828 篇文章

已下架不支持订阅

Multimodal

164 篇文章

订阅专栏

RAG for LLM

41 篇文章

订阅专栏

本文提出REALM，一个利用大型语言模型（LLM）和知识图谱（KG）增强多模态电子健康记录（EHR）表示的框架。REALM通过LLM编码临床笔记，GRU编码时间序列EHR，并使用KG知识消除幻觉，确保一致性。在MIMIC-III数据集上的实验显示了优于基线的性能。

本文是LLM系列文章，针对《REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models》的翻译。

摘要

多模态电子健康记录（EHR）数据的集成显著提高了临床预测能力。利用临床笔记和多变量时间序列EHR，现有模型往往缺乏与临床任务相关的医学背景，促使外部知识的结合，特别是来自知识图谱（KG）的知识。以往的KG知识提取方法主要侧重于结构化知识提取，而忽略了非结构化数据模式和语义高维医学知识。作为回应，我们提出了REALM，这是一种检索增强生成（RAG）驱动的框架，用于增强多模态EHR表示，以解决这些限制。首先，我们使用大型语言模型（LLM）对长上下文临床笔记进行编码，并使用GRU模型对时间序列EHR数据进行编码。其次，我们提示LLM提取与任务相关的医学实体，并将专业标记的外部知识图谱（PrimeKG）中的实体与相应的医学知识进行匹配。通过与临床标准相匹配和一致，我们的框架消除了幻觉并确保了一致性。最后，我们提出了一种自适应多模态融合网络，将提取的知识与多模态EHR数据相集成。我们对MIMICIII死亡率和再入院任务的广泛实验展示了我们的REALM框架相对于基线的优越性能，强调了每个模块的有效性。REALM框架有助于完善医疗保健中多模态EHR数据的使用，并弥合与对知情临床预测至关重要的细微医疗背景之间的差距。