Knowledge Graph Large Language Model (KG-LLM) for Link Prediction

KG-LLM：知识图谱链接预测的大型语言模型
最新推荐文章于 2025-05-18 16:56:16 发布
最新推荐文章于 2025-05-18 16:56:16 发布
阅读量412 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily Knowledge Graph 文章标签： 知识图谱 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139170568
本文介绍了一种名为KG-LLM的新框架，用于知识图谱的链接预测。该框架将结构化知识图谱转换为自然语言提示，通过微调大型语言模型（LLM）来增强多跳链接预测。实验表明，KG-LLM提高了模型的泛化能力，尤其是在处理预训练中未见过的任务时。未来的工作将关注模型的推理过程、指令流程优化和提示质量过滤，以提升预测准确性和可靠性。

本文是LLM系列文章，针对《Knowledge Graph Large Language Model (KG-LLM) for Link Prediction》的翻译。

用于链接预测的知识图谱大语言模型（KG-LLM）

摘要

预测知识图谱（KG）中的多个链接是知识图谱分析领域的一个挑战，由于自然语言处理（NLP）和KG嵌入技术的进步，这一挑战越来越容易解决。本文介绍了一种新的方法，即知识图谱大型语言模型框架（KG-LLM），它利用了关键的NLP范式。我们使用我们的方法将结构化知识图谱数据转换为自然语言，然后使用这些自然语言提示来微调大型语言模型（LLM），以增强KGs中的多跳链接预测。通过将KG转换为自然语言提示，我们的框架旨在识别和学习实体的潜在表示及其相互关系。为了显示KG-LLM框架的有效性，我们在该框架内微调了三个领先的LLM，同时使用非ICL和ICL任务进行全面评估。此外，我们还探讨了该框架为LLM提供零样本功能以处理以前看不见的提示的潜力。我们的实验发现，我们的方法的性能可以显著提高模型的泛化能力，从而确保在不熟悉的场景中进行更精确的预测。

1 引言

2 相关工作

3 方法

4 实验

5 结论和未来工作

我们的研究介绍了知识图谱大型语言模型框架（KGLLM框架），作为知识图谱分析中多跳生成预测任务的一种很有前途的解决方案。通过利用思想链（CoT）和指令微调（IFT）等技术，KG-LLM框架处理的模型大大提高了KG相关任务中预测的准确性。总体而言，消融框架模型在多跳链路预测任务中表现出相对较低的性能，而上下文学习（ICL）的引入进一步阻碍了其性能。然而，无论是否使用ICL，KG-LLM框架模型在多跳链路预测任务中都表现

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Contextual Parameter Generation for Knowledge Graph Link Prediction
羊城迷鹿的博客
12-19 465
研究问题 提出了一种新的实体和关系交互的方式，即将关系看做是实体的上下文，并直接用关系来为不同的预测任务生成不同的模型参数，用生成的参数将头实体嵌入转换为尾实体嵌入 背景动机 目前已有的链路预测方法都是通过加性的方法(最常见的就是拼接之后做线性映射)将头实体和关系的嵌入结合后预测尾实体的，论文认为这种简单的交互限制了模型的表达能力，论文模型的结构如下 符号定义 假设头实体、关系和尾实体的嵌入分别定义为数学公式:es,r,ete_{s}, r, e_{t}es​,r,et​，实体和关系的嵌入集合分别表示为数
GNN in KG(七) Topology-Aware Correlations Between Relations for Inductive Link Prediction in KG
qq_36618444的博客
03-04 1330
目录MethodsModeling correlations between relationsModeling graph structuresThe framework of TACTExperiments and Analysis 本文发表于AAAI2021，作者信息如下： 本文认为，许多现有的方法没有考虑到关系之间的语义相关性，这在现实世界的知识图中很常见。因此，本文提出了Topology-Aware CorrelaTions（TACT），将关系分为几种拓扑模式，然后提出一种关系网络(RCN)来学
具有语义感知嵌入的开放知识图谱链接预测
m0_59548117的博客
04-25 796
本文提出了一个名为SeAE（Open Knowledge Graph Link Prediction with Semantic-Aware Embedding）的模型，旨在改进开放知识图谱（OpenKGs）中的链接预测任务。
Knowledge Graph-Enhanced Large Language Models via Path Selection
2301_78609379的博客
11-10 1339
样本编码是KELP方法中的一个关键步骤，旨在通过预训练的句子编码器M对输入问题q和提取的知识路径进行编码，以获得它们的距离（即路径对LLMs输出的潜在影响），从而确保捕捉到路径中有潜在影响的有用知识。：在4-shot、8-shot和12-shot配置下，KELP在强语义知识任务中的表现优于基于LLM的证据方法，特别是在12-shot场景中，KELP在1跳强语义知识任务中的检索性能超过了基于LLM的证据方法。：在少样本学习设置中，KELP的表现超过了一些全监督模型，接近这些模型中的最高准确率基准。
论文解析—— NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural Architecture Search
扣扣biubiubiu~
10-22 873
论文解析（CIKM 2020） NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural Architecture Search 链接：https://arxiv.org/pdf/2008.07723.pdf 研究背景： 现有的知识图谱大多是不完整，且存在噪声，构建一个完备的知识图谱需要耗费大量的计算资源和存储空间，是不现实的。为了解决这一问题，提出了链接预测任务来预测知识图谱中任意两个实体之间是否存在关系，这一任务很快成
【综述 】 知识图谱（Knowledge graph）链路预测（Link Prediction）
weixin_43564920的博客
03-12 8698
Knowledge Graph Embedding for Link Prediction: A Comparative Analysis 作者：Andrea Rossi、Donatella Firmani、Antonio Matinata、Paolo Merialdo、Denilson Barbosa 论文链接：https://arxiv.org/pdf/2002.00819.pdf 摘要：知识图谱（Knowledge graph, KGs）在工业和学术领域有很多应用，这反过来又推动了
sigir + recsys + cikm + acl + AAAI 2024论文笔记
weixin_43845649的博客
07-19 1077
探索信息检索的scaling laws。
知识图谱（KG）与大语言模型（LLM）
最新发布
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
05-18 1521
知识图谱（KG）以其结构化的知识表示和推理能力，为大语言模型（LLM）的“幻觉”、知识更新滞后和可解释性不足等问题提供了有力的解决方案。反过来，LLM的强大文本理解和生成能力也为KG的构建、补全、查询和应用带来了革命性的进步。二者的融合旨在结合符号主义AI（以KG为代表）和连接主义AI（以LLM为代表）的优势，推动人工智能向更智能、更可信、更易用的方向发展。尽管目前仍面临诸多挑战，但随着技术的不断进步和创新，KG-LLM的融合将在科研和产业界催生出更多突破性的成果。
KG-LLM：加强知识图谱多跳推理，复杂问题推理问答
Debroon
08-08 1550
在知识图谱分析中，准确预测多个连接点之间的联系是一项颇具挑战性的任务，这要求模型能够理解并推理出所有中间的联系。本文提出了一种创新的框架——知识图谱大型语言模型（KG-LLM），它通过运用大模型来处理知识图谱的相关任务。我们先将知识图谱的结构化数据转化成自然语言形式，再利用这些自然语言的提示对大型语言模型进行微调，以提升在知识图谱中进行多跳链接预测的能力。这种将知识图谱转化为自然语言的设计，使我们的框架能够深入学习实体及其相互关系的内在表示。
论文浅尝 | KGNLI: 知识图谱增强的自然语言推理模型
开放知识图谱
01-28 2365
笔记整理 | 韩振峰，天津大学硕士链接：https://aclanthology.org/2020.coling-main.571.pdf动机自然语言推理 (NLI) 是自然语言处理中...
语义联络：知识图谱与大语言模型的链接预测
AI天才研究院
03-02 161
1. 背景介绍 1.1 知识图谱的崛起 随着互联网的快速发展，海量的数据和信息不断涌现，如何有效地组织、存储和利用这些知识成为了一个重要的挑战。知识图谱作为一种结构化的知识表示方法，能够以图结构的形式存储实体及其关系，为实现知识的智能化检索、推理和应用提供了基础。
【论文翻译】KLMo: Knowledge Graph Enhanced Pretrained Language Model with Fine-Grained Relationships
weixin_42761685的博客
10-03 669
知识图谱（KG）中实体之间的交互作用为语言表征学习提供了丰富的知识。然而，现有的知识增强型预训练语言模型（PLMS）只关注实体信息，而忽略了实体之间的细粒度关系。在这项工作中，我们建议将KG（包括实体和关系）纳入语言学习过程中，以获得KG增强的预训练语言模型，即KLMo。具体来说，设计了一种新的知识聚合器来显式建模文本中的实体片段（entity span）和上下文KG中的所有实体和关系之间的交互。利用一个关系预测目标，通过远程监督来合并关系信息。
多token预测造就更好更快的LLM
m0_56695799的博客
03-01 1052
这是一篇发表在24年ICML上的一篇论文，乍一看和博客里的那篇好像，当时讨论到怎么训练并行预测token的几个transformer头的时候，认为将每个头的交叉熵损失的均值作为整体损失的话，内存开销太大，改为每个批量就随机选一个子损失，企图从长期看这种估计无偏，这篇论文似乎直面并解决了这个内存开销的问题。在训练语料的一个位置，模型一次性预测未来n个token，学习目标为努力最小化交叉熵损失方便起见，假设大语言模型用一个共享主干来产生上下文的潜在表示，再加上n个独立的输出头。
基于图上下文学习的通用链接预测器
2401_85375298的博客
12-13 806
Year:2024。
LPNL: Scalable Link Prediction with Large Language Models
c_cpp_csharp的专栏
02-28 574
探索大型语言模型（LLM）在图形学习中的应用是一项新兴的努力。然而，大型图中固有的大量信息对LLM的图学习提出了重大挑战。这项工作专注于链接预测任务，并介绍了LPNL（通过自然语言进行链接预测），这是一个基于大型语言模型的框架，旨在实现大规模异构图上的可扩展链接预测。我们为链接预测设计了新颖的提示，用自然语言表达图的细节。我们提出了一个两阶段采样管道来从图中提取关键信息，并提出了一种分而治之的策略来将输入token控制在预定义的范围内，以应对压倒性信息的挑战。
CogMG: Collaborative Augmentation Between Large Language Model and Knowledge Graph（LLM和KG协同）
m0_60110713的博客
10-21 1124
Abstract大模型已经成为问答应用程序中不可或缺部分本文介绍一个1）利用知识图谱解决LLM在QA场景中的局限性，明确针对知识覆盖不完整和知识更新不一致的问题。（2）LLM识别并分解知识图谱不存在的所需知识三元组，丰富这是图谱并是其更新与现实知识需求保持一致。
KG-Adapter: Enabling Knowledge Graph Integration in Large Language Models through Parameter-Efficien
wyn20001128的博客
05-14 1036
尽管大语言模型（LLMs）在各种任务中展现出卓越的能力和泛化性，但其缺乏专业知识的特性常受诟病。一种可行的解决方案是将知识图谱（KGs）与LLMs结合，近期研究主要通过基于提示的方法实现KGs与LLMs的融合。然而，这些方法未能利用KGs的结构信息，存在知识冲突问题，且过度依赖超大规模LLMs。为解决这些问题，我们提出KG-Adapter——一种基于参数高效微调（PEFT）的参数级KG融合方法。具体而言，
指令微调大模型进行知识图谱补全
m0_59163425的博客
08-31 2474
图1展示了所提出的DIFT的整体框架。一般来说，DIFT在给定的知识图谱上对大型语言模型进行微调，借助于一个已经在上训练过的基于嵌入的模型。为了详细说明，以尾部预测查询为例，我们将输入到中，以获取前个预测实体，其中是一个预定义的超参数。随后，我们基于查询和候选实体C构建一个区分指令。最后，将输入到中，以选择最有可能的实体。通过这种方式，我们确保始终预测一个在E中的实体作为答案，避免将来自的无约束输出文本与实体进行关联。为了高效微调，我们利用对指令样本进行评分，仅保留高置信度的样本。
A retrieve andread framework for knowledge graph link prediction
02-28
### Knowledge Graph Link Prediction Frameworks for Retrieval and Reading Knowledge graph link prediction involves predicting missing links or relationships between entities within a knowledge graph. For this purpose, several frameworks have been developed to enhance both retrieval and reading capabilities. #### 1. TransE Model TransE is one of the foundational models used in knowledge graph embedding methods. It represents each entity and relation as vectors in low-dimensional space where the score function measures how well a triplet $(h,r,t)$ holds by computing $f_r(h,t)=||\mathbf{e}_h+\mathbf{r}-\mathbf{e}_t||_2$[^1]. This model assumes that relations can be translated from head entities to tail entities through vector addition operations. #### 2. Convolutional Knowledge Graph Embeddings (ConvE) ConvE extends traditional embeddings like TransE by incorporating convolution layers over subject-predicate pairs before applying fully connected layers followed by reshaping into two-dimensional matrices. The scoring mechanism uses these transformed representations alongside object embeddings via element-wise multiplication and subsequent summation across all dimensions[^2]. ```python import torch.nn.functional as F from torch import nn class ConvE(nn.Module): def __init__(self, num_entities, num_relations, embedding_dim=200): super(ConvE, self).__init__() self.entity_embeddings = nn.Embedding(num_entities, embedding_dim) self.relation_embeddings = nn.Embedding(num_relations, embedding_dim) def forward(self, sub, rel): e_s = self.entity_embeddings(sub).view(-1, 1, 10, 20) # Example reshape r = self.relation_embeddings(rel).view(-1, 1, 10, 20) # Example reshape stacked_inputs = torch.cat([e_s, r], dim=-1) x = F.relu(stacked_inputs) return x ``` #### 3. ComplEx Model ComplEx addresses limitations found in earlier approaches such as inability to handle symmetric/antisymmetric properties effectively. By introducing complex-valued embeddings instead of real numbers only, it allows modeling asymmetric interactions more accurately while maintaining computational efficiency similar to simpler models[^3]. For applications requiring advanced reasoning tasks beyond simple triplets, architectures combining neural networks with symbolic logic offer promising solutions not covered directly here but worth exploring further based on specific requirements.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值