An Automatic and End-to-End System for Rare Disease Knowledge Graph Construction

本文是LLM系列文章，针对《AutoRD: An Automatic and End-to-End System for Rare Disease Knowledge Graph Construction Based on Ontologies-enhanced Large Language Models》的翻译。

摘要

目标
我们的目标是创建一个名为AutoRD的端到端系统，该系统可以自动从罕见病的临床文本中提取信息。我们进行了各种测试来评估AutoRD的性能，并在本文中强调了其优势和局限性。
材料和方法
我们的系统AutoRD是一个涉及数据预处理、实体提取、关系提取、实体校准和知识图谱构建的软件管道。我们使用从开源医学本体开发的大型语言模型和医学知识图谱来实现这一点。我们在实体提取、关系提取和知识图谱构建性能方面对我们的系统进行了定量评估。
结果
AutoRD的F1总分为47.3%，与基础LLM相比提高了14.4%。详细地说，AutoRD实现了56.1%的整体实体提取F1得分（rare_desise:83.5%，疾病：35.8%，症状和体征：46.1%，回指：67.5%），总体关系提取F1得分为38.6%（产生：34.7%，增加风险：12.4%，