通过知识图谱自动生成和丰富加速医学知识发现 - 哈佛大学等

知识图谱与多智能体协同加速材料研发 知识图谱作为结构化知识库,通过语义网络整合异构数据,为材料科学提供全局视角。其核心技术包括图神经网络和几何深度学习,能有效处理原子级、微观级和宏观级的材料特征。多智能体系统则基于强化学习框架,通过分工协作实现材料成分、结构和性能的协同优化。这种技术组合在工程实践中展现出巨大价值,如锂电池电解质设计中将研发周期从数年缩短至72小时,并发现离子电导率提升3个数量级的新材料。典型应用场景涵盖航空材料、电子器件等领域的逆向设计和性能优化,其中知识图谱处理海量材料数据,多智能体执行具体研发任务,共同推动材料研发范式变 阅读详情

KGGPT

Accelerating Medical Knowledge Discovery through Automated Knowledge Graph Generation and Enrichment

图片

摘要

知识图谱(KGs)作为组织和表示结构化知识的强大工具,广受认可。尽管它们的实用性广泛被认可,但在自动化和完整性方面仍面临挑战。尽管在自动化和利用专家创建的本体方面进行了努力,但KGs中仍然存在连接性不足的问题。为应对这些挑战,我们提出了一种创新的方法,称为“医学知识图谱自动化(M-KGA)”。M-KGA利用用户提供的医学概念,并通过BioPortal本体对其进行语义增强,从而通过集成经过预训练的嵌入增强知识图谱的完整性。我们的方法引入了两种不同的方法论来揭示知识图谱中的隐藏连接:基于集群的方法和基于节点的方法。通过对100个在电子健康记录(EHRs)中频繁出现的医学概念进行严格测试,我们的M-KGA框架显示出良好的结果,表明其有潜力解决现有知识图谱自动化技术的局限性。

https://arxiv.org/html/2405.02321v

1简介

虽然曾被视为早期人工智能(AI)研究的遗物,Smolensky(1987)知识图谱(KGs)近年来经历了显著的复兴。知识图谱作为符号AI的基础,包含有关医学、金融、商业和教育等多个领域的互联知识Zou(2020)。特别是在医学领域,KGs已经成为不可或缺的工具。

KGs相较于传统关系数据库提供了众多优势,主要源于其多样化的节点及其能够建立联系的能力。这种多功能性使其适用于从搜索引擎优化到推荐系统、知识发现和研究促进等多个应用。然而,构建KGs的过程本质上是 labor-intensive的,尤其是在复杂的医学领域,尽管其重要性深远。

KG本质上是一个多重图,其特征在于有向、带标签和多样的性质。KG的核心由事实组成,通常以三元组的形式表示Hogan et al.(2021),每个三元组由一个关系和两个节点构成。KGs由数百万到数十亿个这样的三元组组成,其聚合在信息发现、数据整合和有效管理方面具有巨大潜力。然而,特别是在医学领域,制作KGs面临着巨大的挑战,因为医学概念及其之间的关系复杂。此外,医学数据的非结构化普遍存在,进一步 complicating了KG的创建过程。

近年来,出现了多种图形创建方法,从自动化到半自动化和手动方法Hao et al.(2021)。虽然这些方法解决了一些挑战,但它们往往存在显著缺陷,例如缺乏标准化的平台或图形创建的代码,尽管提供了图形方法。此外,一些方法使用医院记录来生成节点和关系,但忽视了数据增强的潜在好处,导致图形不完整。此外,目前尚无可用于实时生成图形的有前景的技术,进一步阻碍了这一过程。

图片图1:提出的M-KGA框架的流程图

针对这些挑战,我们提出的医学知识图谱自动化(M-KGA)方法有效地解决了这些障碍,通过实时无缝处理结构化和非结构化数据。预处理步骤涉及基于命名实体识别(NER)的关键字提取,这些提取使用了专为科学和生物医学内容量身定制的SciSpacy库(Neumann等人,2019)。随后,知识过滤阶段消除重复和多余的术语,然后利用Neo4j的查询语言“Cypher”快速生成知识图谱。此外,我们利用Bioportal(Noy等人,2009)进行数据增强,通过整合元数据(如定义、同义词和层次结构)来在语义上丰富医学术语。在数据增强后,语义信息过滤阶段去除重复项和非英语术语,从而提高知识图谱的质量。

为了揭示医学术语之间隐含的联结和关联,我们利用了在MIMIC-III数据集上训练的预训练上下文词嵌入模型Clinical BERT(Alsentzer等人,2019)。这有助于在数据中发现有价值的见解,并有助于构建一个全面的知识图谱。我们提出了基于聚类和基于节点的比较方法,通过在知识图谱中利用Clinical BERT揭示隐藏的关系。

此外,我们提出的方法使用户能够轻松导航复杂的特征并生成自主的知识图谱。因此,用户可以根据输入数据高效生成知识图谱,消除了长时间等待的需求。此外,用户可以访问生成的文件以进行进一步的研究和分析。最终,通过我们的方法发现隐藏的连接,帮助临床医生更深入地理解患者症状。同时,它也帮助保险公司识别欺诈性索赔和审查不准确的医疗编码预测。

关于医疗保健领域机器学习的可推广洞见

总之,我们的研究做出了以下贡献:

\1. 提出了一个重要的方法来自动化构建医学知识图谱,称为医学知识图谱自动化(M-KGA)。

\2. 利用基于节点和基于聚类的比较进行知识图谱补全。

\3. 进行严格的评估,以证明我们技术的效率及其所生成的知识图谱。

此外,本文的结构如下:第二节讨论了医学及其他领域中的知识图谱自动化相关工作。第三节介绍了创建知识图谱的 proposed methodology。第四节描述了在多个医疗用例上进行的结果和评估。最后,在第五节中,我们全面呈现了局限性、未来方向和结论。

2相关工作

在过去几年中,许多知识图谱自动化技术在生活的各个方面出现,包括商业、医疗、金融和教育。大多数技术都是针对特定用例和问题提出的。考虑到其多样性、规模、速度和真实性,医疗行业的知识图谱创建比其他行业困难得多。此外,知识图谱补全方法虽然是通过使用机器学习评估大量数据来发现相关连接的有价值工具,但却很少被利用。除了这些限制之外,目前没有任何平台可以用来为医疗行业的任何细分领域提供自动化的完整知识图谱。

图片

一些图自动化系统的有趣应用案例包括系统文献综述 Sahlab 等 (2022),其中从 IEEExplore、ACM、Springer Link、Wiley 和 ScienceDirect 等电子数据库中收集研究文章数据。利用这些数据,构建了一个知识图谱,从而通过提供更好的文章推荐来帮助系统文献综述。尽管链接研究数据的概念是合理的,但所提供的方法似乎未能产生特别有效的结果,因为可能很难确定论文的研究重点和内容。此外,已经存在更有效的知识图谱用于此目的,如 Hi-知识图谱、Microsoft Academic Graph、Papers with Code 图谱、Cooperation Databank 等。类似的方法涉及从综合文献综述中提取信息并将其纳入开放研究知识图谱平台作为知识图谱 Oelen 等 (2020)。在这种半自动化方法中,表格被用作数据源,从单个表格行生成多个三元组。这些创建的图谱不仅在医学领域中有用;它们也可能有助于在各个领域的事实发现。

医学知识图谱是使用多种方法构建的,包括人类、半自动和自动方法,以及现代和传统程序。一个重要的半自动图谱生成程序的例子是利用科学文献和现有数据集制作的 COVID-19 图谱 Wang 等 (2020)。采用分层球面嵌入、本体增强文本嵌入和跨媒体语义结构表示来进行证据挖掘、假设排名和关系提取。还设计了一种生成报告和回答查询的机制。最终的知识图谱包含 7,230 种疾病、9,123 种化学物质和 50,864 个基因。包括 1,725,518 种化学-基因关系、5,556,670 种化学-疾病关联和 77,844,574 种基因-疾病连接。

Midha 和 Rajabi (2021) 描述了从统计数据半自动创建知识图谱的四个步骤。这些过程包括数据收集/获取、知识提取、知识融合和知识存储。利用 DOID、Geonames、DBpedia 和其他资源,除了图谱创建外,还为公开可用的统计数据集创建了本体。数据没有限制在任何一个领域,并进行了大量的连接工作,以生成能够应用于高级数据分析的最终知识。作者提出的研究是创新的,但由于他们使用的数据来自多个领域,可能还有无数其他研究方向可供探索。尽管他们没有使用 KG Meddings 模型进行事实发现,但统计数据可以产生一些有趣的发现。由于其他数百人将能够检查相关数据并获取用于自己工作的图谱,研究人员应将其作为开源代码发布。

另一种创建医疗知识图谱的方法是可用的;它由八个模块组成,并利用3,767,198名患者的16,217,270条去标识临床就诊数据半自动地生成知识图 Li et al.(2020)。其中的过程包括实体识别、实体规范化、关系提取、属性计算、图清理、相关实体排名和图嵌入。为了在医疗图中存储额外的上下文,采用四元组形式代替传统的三元组。最终结果是一个包含22,508个实体和579,094个四元组的医疗知识图,具有九种不同的实体类型。

知识图谱在医学、诊断和信息获取等许多不同的背景中都很有用。另一个重要的应用案例是欺诈索赔的检测;保险公司聘请多名医疗编码员来确认索赔。为了使用中国医疗知识图识别欺诈索赔,开发了一个欺诈、浪费和滥用(FWA)检测系统 Sun et al.(2020)。在实体通过基于深度学习的技术提取后,图是在半自动的方式下创建的,人工干预用于确认图的合法性。关于疾病的信息来自医疗文本和药品标签,这些标签从中国食品药品监督管理局收集而来。最终图具有1,616,549个节点和5,963,444个关系,在检测欺诈索赔方面的准确率为70%。

由于文本数据占所有可用数据的近80%,知识图通常针对文本数据设计。半自动知识图谱构建与应用(SAKA)Zhang et al.(2023)是为知识图谱生成创建的一个引人入胜的用例。它使用听觉和结构化数据来创建图。语音活动检测(VAD)、说话人分离(SD)和医疗信息提取器(MIE)模型是音频基础的知识图谱信息提取(AGIE)技术中提取实体的方法。除了构建图之外,还创建了一个系统来接收用户查询并提取相关数据。知识管理模块持续验证数据的实时性和相关性。在LibriSpeech、VoxCeleb和医患对话数据集上测试该方法取得了可观的表现。

某一医疗领域的医学知识图谱实例:“蛛网膜下腔出血”涉及使用超过一千个病例记录 Malik et al.(2020)。通过利用适当的Bioportal本体增强医疗实体。图谱生成过程涉及多个层次,包括语义知识层、统计知识层、预测知识层和知识工厂层。尽管将源代码用于其他医学领域比较困难,但它是公开的。虽然看似切换本体会使其在其他背景下可行,但研究表明这并不简单,因为蛛网膜下腔的用例需要进行词嵌入的训练等工作。作者在此案例中也忽视了知识图谱完成任务,这可以帮助建立多个发现的链接。针对循证医学等用例开发了一种不同的自动化方法(Alam, 2023)。基于同行评审的本体,KG被自动构建用于脑动脉瘤和COVID-19。为了创建和完成图,使用了基于机器学习的聚类模型。此外,还使用了深度学习技术,如RNN、BioBERT等。结果在COVID和动脉瘤数据集上的准确率分别为93%和82%。

文献表明,大多数方法以手动或半自动的方式描述知识图谱创建过程。它们大多数是针对特定用例和医学领域量身定制的,且很少包含知识图谱完成技术,这可以利用大数据的潜力发掘事实。尽管生成的知识图在许多方面确实有用,但不能普遍应用。此外,目前没有平台能够处理用户请求,以验证特定用例并在几分钟或几秒内创建合适的知识图谱。我们的方法提供自动化,在于使用专家创作的本体生成一个完整和全面的知识图谱,同时满足用户对特定知识图谱生成的请求。人们可以在多种领域受益于这种方法,而我们的方法生成的知识图可以用于增强他人的研究。

3方式

我们提出的方法分为多个步骤。图2说明了医疗知识图谱自动化(M-KGA)的整个工作流程。该方法以两种格式获取数据:结构化和非结构化。然后应用各种自然语言处理(NLP)技术来处理这些数据。最初,使用Bioportal来识别和增强医学概念的语义信息。获取的数据被过滤并用于在知识图(KG)中创建节点及其关系。利用预训练的上下文单词嵌入模型Clinical BERT来发现KG补全的隐藏连接。最后,生成一个Cypher查询文件以便在Neo4j中创建KG。每个阶段的详细信息列在下面。

3.1用户输入

M-KGA技术允许用户以两种不同格式输入医疗数据:结构化和非结构化。当我们说“结构化”时,我们意味着用户精确地定义医疗术语。数据不包含任何相互关联的概念。以下是以结构化方式组织的文本示例:

Structured Input Example:
[‘fever’, ‘diarrhea’, ‘insomnia’, ’severe acute respiratory syndrome’, ‘diabetes’]

非结构化文本则是自由自然语言文本,易于人类理解但对计算机来说则不然。这是由医疗专业人员为患者诊断所写的文本,非结构化文本的一个例子是:

无结构输入示例:

如果你有一种叫做多尿的情况,那是因为你的身体产生的尿液比正常更多。成年人通常每天产生大约3升尿液。但如果是多尿的话,你每天可能产生多达15升尿液。这是糖尿病的一个经典标志。

开发的代码可以接受这两种格式的数据;如果需要结构化文本,它会多次询问数据。如果需要非结构化格式的文本,它会一次性接受所有内容并自行找出概念。

3.2基于NLP的知识过滤

我们提出了两种基于自然语言处理的知识过滤方法,包括 i) 基于命名实体识别的关键词提取和 ii) 知识过滤。基于命名实体识别的关键词提取旨在从非结构化文本中识别医学概念,并转化为结构化格式。随后,关键知识过滤过程用于过滤从前一步骤获得的最重要信息。每个过程将在下文中全面展示:

3.2.1基于实体识别的关键词提取

提供一个非结构化文档作为输入,以利用基于NER的关键词功能提取临床实体列表。这个过程对于填充医学知识图谱的节点至关重要,使得多种医学实体(如疾病、治疗和其他临床概念)的纳入成为可能。我们利用了SciSpacy库Alsentzer等(2019),这是一个针对科学和生物医学文本的流行spaCy自然语言处理框架的专业扩展。具体而言,该功能加载了en_core_sci_sm模型,旨在优化生物医学文本的处理。

基于NER的关键词提取功能需要非结构化的临床文本作为输入,因此临床概念将作为输出被提取。此外,该方法随后利用生物医学模型处理文本并提取临床实体,返回一个可以无缝集成到不断发展的医学知识图谱中的列表。

3.2.2知识过滤

随后,获取临床或医学概念的列表时,将应用知识过滤功能,只选择相关和突出的概念。之前提取的概念可能包含一些冗余。知识过滤通过模糊匹配查找数据中的重复项,并进一步过滤。此外,知识过滤还帮助医疗实践在决策时建立一个综合知识图谱,通过包含和排除某些概念来实现。在基于命名实体识别的关键字提取过程中提取的概念可能与当前问题、疾病诊断或治疗无关。通过将这些词映射到生物门户本体,进一步进行了过滤。

图片图2:医学知识图谱自动化方法(M-KGA)

3.3语义信息提取

经过组织、增强和筛选的材料用于语义信息提取步骤。将这些术语映射到专家创建的Bioportal本体Noy等人(2009)允许您使用Bioportal REST API检索语义丰富的信息。我们方法的优势在于M-KGA并不专属于任何特定的医疗条件或疾病。相反,它试图在不受特定本体限制的情况下丰富数据。

从本体中检索到不同种类的语义丰富信息。同义词是与被映射术语具有相同含义的单词、短语或语素。定义:一组提供更长描述的术语或短语,该描述指的是被映射的术语。在这个过程中,进行了两种类型的提取,下面展示了这一点。

3.3.1Semantic Knowledge Filtration 语义知识过滤

由于我们的方法不限于特定的医疗状况或问题 M-KGA 预计数据的多样性 变异性和冗余性非常高 在这一步骤中 通过多种技术过滤经过语义增强的数据 该方法试图将多种语言的数据翻译成英语 消除检索数据中的重复项 然后使用模糊匹配进一步过滤结果

3.3.2Translation:翻译

用于丰富阶段的数据是多语言的,来自许多本体。为了翻译这些材料,我们探索了图书馆。我们需要采取这一措施,因为如果没有翻译,我们将失去一些重要信息。我们确定的非英语文本被翻译成英语;如果语言无法识别或存在任何例外,则该文本将被删除。随后的阶段不包括这一删除部分。由于非英语文本无法在任何后续步骤中使用,因此已被移除。用于发现隐藏联系的预训练模型无法理解这些数据,这将导致问题。此外,这一步将解决Neo4j对Cypher节点ID创建施加的限制。

3.3.3Duplicate Removal: 去重

此步骤从前一阶段获取增强的数据,并尝试去除重复项。由于我们从1000多个Bioportal本体中提取数据,因此可能会出现大量的重复。在此步骤中,我们使用了语义信息,将所有同义词和定义改为小写,然后在Python中使用简单的集合操作来删除冗余项。

3.3.4Fuzzy Matching: 模糊匹配

重复删除过程的扩展是模糊匹配。某些增强数据可能包含语义上可比较的文本,这些文本无法通过设定程序进行删除。为了保持内容的唯一性,我们采用了这一策略。这也解决了ID创建阶段的问题,并在语言上重复项的移除方面提供了极大的帮助。

3.4知识图谱构建

创建知识图谱是一项具有挑战性的工作,因为在创建节点和交互时需要极其谨慎。知识图谱是用Neo4j的Cypher查询语言开发的。该格式有独特的限制。在Cypher中,节点ID应以字母而不是数字、特殊字符或非英语短语等开头。考虑到这些因素,我们制作了图形。以下步骤将对此进行进一步说明。

3.4.1Node ID creation: 创建节点ID

节点ID的开发是基于这样一种理解:节点之间必须建立数以百计的连接——包括隐藏的连接和本体提供的连接。我们通过遵循不同KG格式的ID要求,将节点内容或丰富数据转换为ID,以减少ID检索比较和连接形成所需的计算资源。正如之前所述,Cpyher中的节点ID仅接受英文格式的数据;不允许使用特殊字符等。通过这种方法,关于多尿的丰富数据被转换为如“excessive secretion of urine”的ID,这源于“excessive secretion of urine”的定义。因此,每当我们需要建立连接时,就不必再去寻找与该节点连接的ID。我们只需应用我们的功能,将内容转换为ID。

3.4.2Node Creation: 创建节点

此步骤根据之前概述的 ID 创建技术构建结构化和非结构化(转换为结构化)数据的节点,以及语义丰富的数据。已经创建了不同种类的节点。同义词、医学概念、定义等属于这些类别。根据其类型,图中的每个节点用不同的颜色表示。节点显示内容。所有知识图谱节点在此步骤中构建。

3.4.3Relationship/ Connection creation: 关系/连接创建

此步骤根据专家提供的或本体提供的连接来连接不同节点。每次迭代都会创建一个具有语义丰富性的节点,该步骤使用ID创建连接,并将节点与主要医学概念连接。所有语义丰富的数据也是如此。在这里,关系也有不同类型,例如同义词、定义等。关系是带标签和有方向的。

3.5隐藏链接提取

早期的过程收集用户数据,对其进行过滤,从专家产生的本体中获得丰富的数据,并生成知识图谱。除了专家提供的链接,我们的方法还寻找本体中缺失的隐性连接。这些本体提供了更丰富的医学术语,但可能很难确定这些概念是否相互关联。是否存在可以忽略的连接以改善医学数据的分析?我们制作了知识图谱,但我们如何才能完善它们?

为了解决这些问题,我们尝试使用KG嵌入来实现我们的方法,该方法可以根据KG三元组预测链接。然而,这些方法对于小型图谱并不有效。我们的方法可以根据用户请求创建大型和小型KG;然而,KG嵌入无法在小型网络上发挥作用,因为这些模型需要数千个三元组。因此,为了建立连接,我们利用词嵌入来确定一个词的含义及其与其他词的关系。值得强调的是,我们的方法寻求与其他医学概念及其丰富内容的连接,而不是试图与其语义丰富的节点建立连接,因为这些节点已经是互相连接的。

3.5.1Clinical BERT Embeddings:临床BERT嵌入:

我们利用Clinical BERT嵌入提取医学概念及其上下文元数据的向量表示。我们使用Clinical BERT嵌入,这些嵌入是在一个大型医学语料库上训练的,而不是创建我们自己的模型。医学信息市场重症监护III(MIMIC-III)用于训练模型。我们利用它们的预训练特性和开源特性来理解医学概念及其相互关系。我们计算了不同术语之间的相似度,并根据距离和用户定义的阈值构建了关系,从而实现知识图谱的补全。

3.5.2Cluster-based Comparison: 基于集群的比较

我们提供了两种方法来定位知识图谱中埋藏的链接。我们将每个医学概念及其语义丰富的数据视为一个集群,采用基于集群的方法。利用所有可用的语义信息,我们写了一段文字,然后使用临床BERT模型寻找嵌入。临床BERT的实现不可扩展,并且在大集群上引入了错误。为了改进此方法,我们将段落分割成若干块,处理例外情况,为每个块获取嵌入,然后再除以块的总数。集群根据用户定义的阈值与其他集群进行映射。阈值以及用户对特定或一般连接的要求程度是这里的关键因素。实际上,阈值是集群之间的分隔。为了确定集群之间是否存在强关系,用户可以选择低阈值。基于集群的比较或连接能够快速且低计算成本地实现知识图谱的补全。这一步引入了名为“embedding_match_cluster”的进一步关系在知识图谱中。图3是基于集群比较方法的一个例子。

在这里插入图片描述
图3:基于集群的医疗诊断用例比较

3.5.3Node-based Comparison:基于节点的比较

与基于聚类的方法相比,基于节点的技术寻找与聚类中其他节点的连接。使用词嵌入,这种方法将单个节点与每个聚类的节点进行比较。节点上缺乏大量的文本意味着可扩展性不是问题。此外,该方法需要大约 n2 的时间,并且计算成本较高,而与基于聚类的方法相比。由于基于节点的技术允许我们确定链接的准确匹配,因此更容易理解。在这里,连接也是根据用户指定的阈值建立的。根据图的大小,连接节点需要几分钟的时间。图 4 显示了该方法的结果描述。这在知识图中添加了名为“embedding_match_node”的关系。

图片图4:基于节点的医疗诊断用例比较

3.6Use case Testing 用例测试

为了确定我们方法的有效性,我们进行了三个独立的用例分析。选定的三个用例是医疗索赔、医疗诊断和医疗编码。我们使用了名为CodiEsp的西班牙数据集来测试每一个用例。专家为CodiEsp数据添加了ICD-10代码。为了测试我们的策略,我们使用了出院总结及其注释。

3.6.1Medical coding and Claim verification: 医学编码和索赔审核

我们使用了几个摘要、医学术语和相关的医学编码。我们在将医学编码转换为描述后提取了描述中包含的医学术语。然后,我们使用了我们的医学知识图谱自动化技术(M-KGA)来查看将所有医学概念(例如出院总结或诊断编码描述)处理后产生的结果。我们在测试中使用了真正的阳性和真正的阴性案例。我们取出了摘要,对其注释应用了我们的方法,再次用虚构示例对摘要进行了注释,并重新测试了该方法。该方法通过可视化展示了它的有效性,并在所有情况下均证明令人满意。我们还进行了各种阈值的实验。

3.6.2Medical Diagnosis: 医学诊疗

我们还使用CodiEsp数据测试了这种医疗诊断方法。每个医疗摘要的知识图谱是利用从摘要中提取的概念构建的,这一过程使用了基于命名实体识别的关键词提取阶段。我们应用了基于节点和基于聚类的比较,并生成了一个完整的知识图谱。我们假设摘要中包含的任何医学观点都必须彼此相关;这种关系将确认我们的方法在补全图谱方面的有效性,并提供对从本体中提取的关系更深刻的理解。通过我们的基于节点和基于聚类的比较技术,该策略在所有实验中显示出显著性,并且大多数在同一摘要内的医学术语生成了链接。为了更好地理解该方法的运作,我们还对其进行了负例测试。

4Evaluation 评估

在本节中,我们展示了从实施和测试我们提出的医学知识图谱自动化(M-KGA)方法中获得的结果。评估旨在评估M-KGA在从用户提供的医学概念构建综合知识图谱方面的有效性和效率。我们使用一组100个不同的医学概念进行了实验,以评估我们的方法在医疗领域各个领域的性能。

在我们的评估中,我们将这100个医学概念分为两组:50个用于评估基于聚类的比较方法,另外50个用于评估基于节点的比较方法。每组进行了配对,利用GPT-3.5模型创建医学概念的对。这些配对被编制成Excel文件,以供人类医学专家进行注释。专家的任务是根据真实阳性(TP)、假阳性(FP)、真实阴性(TN)和假阴性(FN)等指标对每对进行注释,为我们方法的准确性和性能提供宝贵的见解。

在注释过程结束后,我们对医学概念对应用了基于聚类和基于节点的比较方法,阈值=4。利用这些方法,我们为每对构建了知识图谱,并分析它们是否成功识别出专家注释的连接。考虑到传统本体在某些医学概念之间通常难以找到连接,我们的目标是确定我们的方法是否能够发现可能会被忽视的隐藏连接。该分析旨在确认我们提出的方法在增强现有知识和揭示医学领域中之前未被识别的关系方面的有效性。

图片图5:基于节点的医疗诊断用例比较

在图5中,使用真正例(TP)、假正例(FP)、真负例(TN)和假负例(FN)构建的度量指标被呈现。我们的分析集中于基于这些指标评估准确性、F1得分、召回率和精确度。图中展示的比较突出节点基础和集群基础方法之间的性能差异。值得注意的是,节点基础方法显然是领先者,与集群基础方法相比,显示出显著更高的准确性、F1得分、召回率和精确度。这一观察强调了节点基础方法在准确捕捉知识图谱内连接方面的有效性,最终在所有评估的指标中表现优越。

观察到的基于聚类方法在准确性、F1分数、召回率和精准度方面的局限性可以归因于临床BERT的使用。虽然临床BERT是一个强大的预训练模型,但其有效性受到计算资源和样本大小限制等实际因素的制约。由于知识图谱中聚类的规模庞大,因此需要将其划分为更小、可管理的部分进行处理。然而,这种分割引入了一个挑战:在多个部分之间丧失了上下文的一致性。因此,从碎片化的聚类中得出的嵌入可能缺乏准确表示和推理所需的整体上下文,导致性能指标下降。这一现象强调了在设计和实施知识图谱构建方法时考虑预训练模型的能力和局限性的重要性。

除了评估措施之外 透明度和时间是评估M-KGA方法有效性的关键因素 如图3和图4所示 透明度指的是构建的知识图谱的清晰度和可理解性 基于节点的方法在透明度方面表现出色 通过在节点之间建立直接的连接 从而呈现出清晰且直观的关系表示 相比之下 基于聚类的方法可能显示出较少的透明度 因为它倾向于增加较少的关系 导致连接的描述不够明确

另一方面,时间涉及知识图谱构建过程的效率。基于聚类的方法在时间效率方面具有优势,相比于基于节点的方法,所需的计算资源和处理时间更少。然而,这种效率是有代价的,因为基于聚类的方法可能会牺牲之前讨论过的性能指标,例如准确性、F1分数、召回率和精确度。

总体而言,尽管基于集群的方法提供了更快的构建过程,但可能会妨碍透明性和性能。相反,基于节点的方法优先考虑透明性和性能,尽管代价是增加了计算复杂性和时间消耗。因此,在基于知识图谱应用的具体要求和优先事项之间,应该仔细考虑这两种方法的选择。

5结论和未来的工作

最终,本研究介绍了医疗知识图谱自动化(M-KGA)方法,旨在解决与自动构建知识图谱(KGs)及提升其完整性相关的挑战。M-KGA利用用户提供的医学概念和BioPortal本体,使用预训练嵌入丰富知识图谱的语义内容,从而促进更全面的结构化医学知识的表征。我们的方法结合了两种不同的技术,即基于聚类的方法和基于节点的方法,以揭示知识图谱中的隐藏关联。

通过对100个医学概念进行严格测试,我们的M-KGA框架显示出可喜的结果,展现了其克服现有知识图谱自动化技术局限性的潜力。本研究中提出的性能指标和图形可视化强调了我们的方法在提高知识图谱透明度和准确性方面的有效性,特别是在医学领域。

展望未来,后续工作将集中于解决与基于聚类的方法相关的可扩展性问题,旨在改善其性能。此外,我们计划探索与大型语言模型(LLMs)结合的检索增强生成(RAG)方法,用于知识图谱的开发以及与我们当前方法的性能比较。通过不断创新和完善我们的方法,我们旨在进一步推动知识图谱自动化领域的发展,为医疗领域更全面和准确的结构化知识表征做出贡献。

References

  • Accelerating Medical Knowledge Discovery through Automated Knowledge Graph Generation and Enrichment (arxiv.org)、https://arxiv.org/html/2405.02321v

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

零样本学习与图神经网络在罕见病药物研发中的应用 零样本学习(Zero-Shot Learning)作为机器学习的重要分支,通过知识迁移实现在未见类别上的推理能力。其核心技术原理是构建丰富的语义空间,使模型能够将已知领域的特征映射关系泛化到新领域。在生物医学领域,结合图神经网络(GNN)处理知识图谱的能力,这项技术展现出独特的工程价值。TxGNN系统创新性地整合了疾病-基因关联、药物-靶点相互作用等多源数据,通过GPU加速的大规模图计算,实现了罕见病药物重定位的突破。这种AI医疗方案特别适用于数据稀缺场景,为7000多种罕见病提供了新的治疗可能性,同时其可 阅读详情

相关推荐

品牌语义场构建:从认知心理学到NLP技术的实践指南

品牌语义场是模拟人脑联想记忆机制的营销技术,通过语义网络将品牌与行业关键词、场景需求强关联。其底层逻辑结合认知心理学与NLP技术:人脑以节点网络存储记忆,而Word2Vec等算法通过词向量计算语义距离。这种技术能显著提升品牌在搜索引擎联想和用户心智中的占比,广泛应用于消费品、汽车等行业的数字化营销。实践中需通过语义地图绘制、节点设计、内容矩阵部署和关系强化四步构建,配合Python监测系统和Neo4j知识图谱等技术工具实现效果优化。

weixin_29047545的博客 262

[论文阅读笔记29]生物医学文本摘要(Biomedical Text Summarization)

论文:Clinical Context–Aware Biomedical Text Summarization Using Deep Neural Network: Model Development and Validation Afzal M, Alam F, Malik K, Malik G Clinical Context–Aware Biomedical Text Summarization Using Deep Neural Network: Model Development and Va

ld326的专栏 1676

AI工程化落地:从大模型幻觉到生产级调优的实战指南

大模型技术正从实验室走向真实产线,但‘能跑’不等于‘可用’。理解模型底层原理(如MoE架构、4-bit量化误差传播、自监督语音对齐)是规避幻觉、延迟飙升与显存溢出的前提;掌握工程约束(FP64算力瓶颈、路由负载不均、OAuth令牌静默失效)才能做准技术选型。其技术价值在于将前沿论文(LIMA、Sophia、RAP)转化为可复现的配置策略、可审计的推理链路与可压测的API服务。典型场景覆盖多语言语音识别优化、科学计算模型硬件适配、RAG系统稳定性加固及DragGAN图像编辑工业化改造。本文聚焦一线开发者每日面

vanadiumlin 157

【论文翻译】知识图谱论文中英对照翻译----(KnowLife:a versatile approach ... )

【论文题目】KnowLife: a versatile approach for constructing a large knowledge graph for biomedical sciences 【论文题目对应中文】KnowLife:一种用于构建生物医学大知识图的通用方法 【论文链接】https://link.springer.com/content/pdf/10.1186%2Fs1285...

愿你慢慢变强的博客 6251

教育领域的AI革命:个性化学习导师的技术架构与未来展望 (八)

教育元宇宙不是虚拟乌托邦的臆想,而是人类认知革命的必然阶段。在这个虚实交融的新大陆,教育将突破物理法则与生物限制,重新定义"学习"的本质内涵。当脑机接口消弭了人机界限,当量子网络贯通了文明孤岛,教育的终极命题将指向:如何在数字永生时代守护人性的光辉,在无限可能中坚守教育的初心。这需要技术开发者、教育工作者与政策制定者共同构建新的文明契约,让教育元宇宙真正成为启迪智慧、传承文明、创造未来的永恒圣殿。未来展望:教育元宇宙的雏形——重构人类认知边界的数字新大陆。一、技术基座:构建虚实共生的教育基础设施。

zyw38121913的专栏 1588

AIGC综述

浅谈人工智能领域各个方向AIGC:生成式人工智能,AI-Generated Content。AIGC的目标是使内容创建过程更加高效和易于访问,从而能够以更快的速度制作高质量的内容。AIGC是通过从人类提供的指令中提取和理解意图信息,并根据其知识和意图信息生成内容来实现的。

qq_43266707的博客 2334

GraphRAG实战:构建医疗知识图谱系统

通过这个项目,我深刻体会到GraphRAG在医疗知识图谱领域的强大潜力。它不仅能自动构建知识图谱,还能不断学习和优化。数据预处理的质量直接影响最终效果实体关系抽取需要反复调优模型参数图数据库查询优化是个持续过程医生实际需求应该贯穿设计始终对于想尝试类似项目的朋友,建议从小的医疗领域开始,比如专注于某类疾病,逐步扩展。最近发现InsCode(快马)平台可以很方便地进行这类项目的开发和部署。它内置了AI辅助编程功能,能帮助快速实现核心算法,还能一键部署成可访问的服务,省去了很多环境配置的麻烦。

CrystalwaveEagle34的博客 517

基于因果推断的商家经营智能诊断实践

当温度升高时,冰淇淋的销量会上升,同时游泳的人数也会增多,相应的溺水量也会增加。生意参谋是阿里围绕电商经营打造的全渠道、全链路、一站式的数据平台,也是千万淘系商家做精准店铺运营的主阵地,不仅能够帮助监测生意背后的数据(包括流量来源去向、品类经营、内容、直播效果、服务质量等),也能支持多端进行高效地数据分析。等多角度及时准确地诊断出淘系店铺存在的深层次的、隐匿的经营问题,同时也能及时洞察其存在的生意增长机会,并进一步针对定位的问题和机会点结合平台策略提供给商家行之有效的建议,真正为商家带来生意的增长。

AI天才研究院 6799

TCGA三个在线可视化网站

1.>c-Bioportal: www.cbioportal.org 整合和简化了包括TCGA,ICGC以及GEO等多个癌症基因组数据库的内容,提供友好可视化的界面,可供下载。 主要展示基因的somatic 突变谱,拷贝数变化,mRNA&miRNA表达量变化,DNA甲基化以及蛋白质表达的情况,并结合患者的临床资料,展示了KM生存曲线。 2.>OncoLnc: www.oncol...

weixin_33755649的博客 1941

《教育平权的技术杠杆:个性化学习导师与大模型的“因材施教”》

2500年前,苏格拉底在雅典街头用提问唤醒青年;2500年后,我们用大模型把同样的火种塞进每个孩子的书包。教育不是灌满一桶水,而是点燃一把火。AI个性化导师的最大价值,不是让学生更快地得到正确答案,而是让他们更慢、更深刻地面对自己的错误与困惑。在无数个深夜追问中,学生最终学到的不是某个公式,而是与不确定性共处、与自己对话的能力。这种能力,才是教育平权终极要交付的礼物——不是让所有孩子都爬同一座山,而是让每个孩子都能登上属于自己的那座山,并在登顶时,听见内心苏格拉底的回声。

2201_76125393的博客 19

湿敏电阻HR202的两种驱动方案实测:IO充放电法 vs. 交流方波ADC法,哪个更适合你?

本文深入评测湿敏电阻HR202的两种驱动方案:IO充放电法和交流方波ADC法。通过原理图分析、精度实测和资源占用对比,揭示交流方波ADC法在精度和稳定性上的优势,特别适合长期监测场景。同时提供IO充放电法在资源受限情况下的应用建议,帮助工程师根据项目需求做出最优选择。

weixin_30421809的博客 466

知识图谱的构建方法:自动化与手工标注

1.背景介绍 知识图谱(Knowledge Graph, KG)是一种表示实体、关系和实例的数据结构,它可以帮助人工智能系统理解和推理复杂的语义关系。知识图谱的构建是一个复杂的任务,涉及到大量的数据收集、预处理、提取、整合和推理。在过去的几年里,知识图谱的构建方法主要分为两类:自动化方法和手工标注方法。本文将详细介绍这两种方法的核心概念、算法原理、具体操作步骤以及数学模型公式。 1.1 自动化...

AI天才研究院 3960

‌NTRU算法详细教程 | 2025年最新版(基于NIST后量子密码标准更新)

‌:NTRU是当前抗量子加密的黄金标准,‌。

blns_yxl的博客 1804

人工智能大神深度解剖知识图谱的六大应用

本文是智金汇微信课堂第26期的分享实录,分享人为“公子小白机器人”的CTO王昊奋博士,分享主题为“知识图谱面面观”。 可能大家并不是很了解知识图谱,但是大家一定了解石油。石油不仅仅是能源,很多衍生品也都需要依赖石油。类似地,我们在进行人工智能的探索道路上,我们也需要了解其本质,或者在其基础上衍生出各种上层的智能应用。在我个人看来,知识图谱正是起到了这样一个作用。 这里并没有过多

木东的博客 1万+

微信公众号开发实战:如何高效推送模板消息(附完整代码示例)

本文详细解析了微信公众号开发中模板消息推送的核心流程与实战技巧。文章从OpenID获取、模板申请、Access Token缓存管理到完整PHP代码实现,逐步拆解了高效推送模板消息的关键步骤,并提供了可直接复用的代码示例,帮助开发者快速集成这一提升用户体验的重要功能。

weixin_29009971的博客 793

【华为OD机试真题】7、字符串筛选排序 | 机试真题+思路参考+代码解析(C++、Java、Py)

题目描述 >输入一个由N个大小写字母组成的字符串 按照ASCII码值从小到大进行排序 查找字符串中第K个最小ASCII码值的字母(k>=1) 输出该字母所在字符串中的位置索引(字符串的第一个位置索引为0) k如果大于字符串长度则输出最大ASCII码值的字母所在字符串的位置索引 如果有重复字母则输出字母的最小位置索引

KJ.JK 2267

药物发现公司正在运用ChatGPT研发药物

大型语言模型(LLMs)正在帮助科学家与人工智能对话,甚至生成潜在的药物靶点。

m0_65595995的博客 283

把 ABAP SQL 窗口函数讲透:从 OVER 到 LEAD、RANK 与累计分析

ABAP SQL窗口函数在不丢失明细记录的前提下,为每行数据提供组内统计和排名功能。它通过OVER子句定义计算窗口,支持三类函数:聚合型(AVG/SUM等)、排名型(ROW_NUMBER/RANK等)和取值型(LEAD/LAG)。相比GROUP BY会合并多行数据,窗口函数保留原始记录同时附加计算结果,特别适合需要保留明细又要展示统计信息的业务场景,如销售排名、客户分层分析等。语法核心是OVER子句,通过PARTITION BY分组,ORDER BY排序,可灵活定义计算范围。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1274

计算金融知识图谱中的远程连接

虽然C2看起来对分析师的投资组合影响不大,因为它距离有2步之遥,并且不是投资组合中的实际资产,但如果原材料在C2或另一个N步之遥的远程连接处变得不可用,可能对C0产生重大影响。这种复杂的关系网正是光年AI能够高效管理的范例,它的灵活工作流机制和多平台整合功能,能大幅提升分析效率和准确度,助您轻松应对各种业务场景。J. Joseph Rusnak 获得了哈佛大学的博士(Ph.D.)和理学硕士(S.M.)学位,以及麻省理工学院的工程硕士(M.Eng.)和学士(S.B.)学位。对于三步连接,计算M的立方。

拥有自研的知识库,能够根据业务需求定制内容,提供更精准的服务和推荐 880

chromium通信系统-ipcz系统(二)-ipcz系统代码实现-同Node通信

在chromium通信系统-mojo系统(一)-ipcz系统基本概念一文中我们介绍了ipcz的基本概念。 本章我们来通过代码分析它的实现。 handle系统 为了不对上层api暴露太多细节,实现解耦,也方便于传输,ipcz系统使用handle表示一个对象,handle类似于文件描述符,用IpczHandle类型表示ipcz系统内的一个对象。一个可以用IpczHandle 句柄表示的对象必须是APIObject子类。APIObject数据结构如下 class APIObject : public RefCou

woai110120130的专栏 1775

PHP实现获取本机ip及mac地址​(附完整源码)

PHP实现获取本机ip及mac地址​(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 354

**创新医疗解决方案:探索PrimeKG的无限可能**

在当今数字化时代,数据科学与医疗健康的结合正以前所未有的速度推动着精准医疗的发展。在此背景下,**PrimeKG**( Precision Medicine Knowledge Graph),一个由哈佛大学Zitnik实验室开发的强大且开放的知识图谱资源,为研究人员和医疗专业人士提供了一个前所未有的视角来理解疾病的复杂性。 ## 项目介绍 PrimeKG,旨在构建一个全面描绘疾病状态的知识图谱...

gitblog_00006的博客 657

基于Jeecgboot3.8.1的vue3版本前后端分离的flowable流程管理平台

基于Jeecgboot3.8.1的vue3版本前后端分离的flowable流程管理平台

宁波阿成的博客 1544

【人工智能】人工智能在医疗健康中的应用以及实际案例和进展概述

工智能(Artificial Intelligence, AI)在医疗健康领域的应用日益广泛,为医疗服务的提升和健康管理带来了革命性的变化。以下是人工智能在医疗健康中的主要应用:

weixin_51306394的博客 2900

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

为什么仿生蝴蝶不用齿轮和连杆?聊聊舵机直驱在扑翼飞行器设计中的取舍

本文探讨了舵机直驱技术在仿生蝴蝶扑翼飞行器设计中的革命性应用。通过对比传统齿轮和连杆传动的物理局限,分析了舵机直驱在重量、控制和可靠性方面的显著优势,特别适配蝴蝶低频大翼展的飞行特性。文章还介绍了前沿的工程实践和创新技术,如液压-舵机混合系统和智能材料应用,展示了舵机直驱在未来扑翼飞行器设计中的广阔前景。

weixin_30342209的博客 492

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

如何快速掌握高级机器学习:深度学习算法进阶的完整指南

GitHub 加速计划 / da / data-science 项目提供了一条免费的自学数据科学教育路径,帮助学习者系统掌握从基础到高级的机器学习知识。本文将为你详细介绍如何通过该项目提供的资源,高效进阶深度学习算法,成为一名具备实战能力的机器学习工程师。 ## 深度学习算法进阶的必备知识体系 📚 在深入高级机器学习之前,建立完整的知识框架至关重要。项目中的 **topic_progress

gitblog_00873的博客 720

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

上一篇: 为什么程序员都要了解GPT,学会构建AI大模型?了解GPT大模型,读这本书就够了!
下一篇: 解决NLP任务的Transformer为什么可以应用于计算机视觉?
少喝冰美式
博客等级 码龄3年 6839粉丝 517原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值