知识图谱大模型（KG-LLM）用于链接预测

Python_金钱豹

于 2025-07-07 20:24:49 发布

阅读量470

点赞数 4

CC 4.0 BY-SA版权

文章标签：知识图谱人工智能语言模型自然语言处理 php 开发语言

本文链接：https://blog.youkuaiyun.com/Python_cocola/article/details/149181039

摘要

在知识图谱（KGs）中进行多跳链接预测的任务是知识图谱分析领域的一个挑战，因为它要求模型在做出预测之前，通过推理和理解所有中间连接。本文介绍了知识图谱大型语言模型（KG-LLM），这是一种利用大型语言模型（LLMs）处理知识图谱任务的新颖框架。我们首先将结构化知识图谱数据转换为自然语言，然后使用这些自然语言提示对LLMs进行微调，以增强知识图谱中的多跳链接预测。通过将知识图谱转换为自然语言提示，我们的框架旨在学习实体及其相互关系的潜在表示。为了展示KG-LLM框架的有效性，我们在此框架下对三种领先的语言模型进行了微调，包括Flan-T5、Llama2和Gemma。此外，我们还探讨了该框架为LLMs提供零样本能力处理先前未见过的提示的潜力。实验结果表明，KG-LLM显著提高了模型的泛化能力，使得在不熟悉场景下的预测更加准确。

核心速览

研究背景

研究问题：这篇文章要解决的问题是如何在知识图谱（KGs）中进行多跳链接预测。多跳链接预测需要模型理解并推理所有中间连接，这在知识图谱分析领域是一个挑战。
研究难点：该问题的研究难点包括：现有方法主要关注判别性模型而非生成性模型，缺乏对推理过程的重视；现有方法主要关注两点之间的直接链接预测，忽略了多跳链接预测；传统模型缺乏泛化能力，面对未见过的任务表现不佳。
相关工作：该问题的研究相关工作有：基于嵌入的方法、图神经网络（GNN）模型、大型语言模型（LLMs）。基于嵌入的方法如TransE、Analogy、Complex、DistMult、Rescal、wsGAT、CongLR和ConvRot等；GNN模型如wsGAT、CongLR和ConvRot等；LLMs如BERT、GPT、Llama、Gemini和Flan-T5等。

研究方法

这篇论文提出了知识图谱大型语言模型（KG-LLM），用于解决知识图谱中的多跳链接预测问题。具体来说，

知识图谱定义：
多跳链接预测：多跳链接预测旨在识别知识图谱中多个关系步骤之间缺失的连接。
知识提示：知识提示是专门为知识图谱设计的提示，将观察到的三元组序列转换为自然语言。KG-LLM知识提示采用结构化格式，包括指令和输入。消融知识提示则不包含指令和文本化的ID。
KG-LLM框架：初始知识图谱作为输入，每个节点被迭代地分配为根节点，使用深度优先搜索（DFS）提取所有可能的路径。去重后保留节点数为2到6的路径，这些路径被标记为正例（存在连接）和负例（不存在连接）。最后，这些路径被转换为KG-LLM和KG-LLM（消融）知识提示。在微调阶段，使用三种不同的LLMs：Flan-T5-Large、Llama2-7B和Gemma-7B。使用交叉熵损失函数L进行训练，计算模型预测的token概率与实际token概率的差异。

实验设计

数据集：实验在四个真实世界的数据集上进行：WN18RR、NELL-995、FB15k-237和YAGO3-10，这些数据集由OpenKE库构建。
任务分割：在每个数据集的预处理阶段，随机选择80%的节点构建训练集，剩下的20%节点用于验证集和测试集。
比较基准：评估KG-LLM框架有效性的实验包括非ICL多跳链接预测、一次性ICL多跳链接预测、非ICL多跳关系预测和一次性ICL多跳关系预测。
实现细节：每个模型在A40 GPU上训练5个epoch，最大复杂度设置为五跳，监控输入token大小以优化处理效率。

结果与分析

非ICL多跳链接预测：KG-LLM框架在所有数据集上的表现均优于传统方法和消融框架。特别是，Flan-T5、Llama2和Gemma模型在WN18RR、NELL-995、FB15k-237和YAGO3-10数据集上的F1值和AUC值均有显著提升。
多跳链接预测与ICL：ICL的引入显著提升了Llama2和Gemma模型的性能，特别是在WN18RR和NELL-995数据集上，F1值和AUC值均超过80%。然而，Flan-T5模型在某些数据集上的性能略有下降。
非ICL多跳关系预测：两种框架在未见过的多跳关系预测任务中表现有限，KG-LLM框架的表现略优于消融框架。
多跳关系预测与ICL：ICL的引入显著提高了模型在未见过的任务中的泛化能力，特别是在WN18RR数据集上，Llama2和Gemma模型的准确率超过了70%。

总体结论

这篇论文提出的KG-LLM框架通过将知识图谱转换为自然语言提示，并利用指令微调和上下文学习（ICL），显著提高了多跳链接预测任务的准确性。实验结果表明，KG-LLM框架不仅提升了生成性多跳链接预测的性能，还增强了模型在面对未见过的提示时的泛化能力。未来的工作将包括评估模型的推理过程和改进指令过程，以进一步提升KG-LLM模型的性能。

论文评价

优点与创新

新颖的框架：提出了知识图谱大型语言模型（KG-LLM），利用大型语言模型（LLMs）进行知识图谱任务。
结构转换：将结构化知识图谱数据转换为自然语言提示，使LLMs能够更好地理解和学习实体及其关系的潜在表示。
多跳链接预测：通过链式思维（CoT）提示和指令微调（IFT），显著提高了多跳链接预测的性能。
零样本能力：通过上下文学习（ICL），模型不仅提高了性能，还具备了处理未见过的提示的能力。
实验验证：在多个真实世界数据集上进行了实验，验证了KG-LLM框架的有效性。
广泛比较：与传统方法和消融框架进行了详细比较，展示了KG-LLM框架的全面优势。

不足与反思

推理过程的可解释性：未来工作包括在评估阶段访问模型的推理过程，以进一步提高模型的可解释性。
指令过程的优化：计划通过限制选项大小来改进指令过程，并探索使用提示质量过滤器来有效过滤噪声选项，从而提高模型的准确性和可靠性。

关键问题及回答

问题1：KG-LLM框架如何利用知识提示来增强多跳链接预测的性能？

KG-LLM框架通过将知识图谱转换为自然语言提示（knowledge prompts）来增强多跳链接预测的性能。具体来说，知识提示将知识图谱中的节点和关系ID文本化，并将其组织成一系列的关系语句。例如，对于节点A通过关系r与节点B相连，节点B通过关系s与节点C相连的路径，知识提示可以表示为：“Node A has relation r with Node B, Node B has relation s with Node C”。这种结构化的提示使得大型语言模型（LLMs）能够更好地理解和学习知识图谱中实体及其关系的潜在表示。此外，指令微调（instruction fine-tuning）进一步提升了模型的性能，使其能够专注于有限的选项并进行有效的推理。

问题2：在多跳链接预测任务中，KG-LLM框架与传统方法和消融框架相比有哪些优势？

更好的理解关系网络：KG-LLM框架通过知识提示将知识图谱转换为自然语言，使LLMs能够更好地理解实体之间的关系网络及其内在联系。
增强的生成性能力：与传统方法主要关注判别性模型不同，KG-LLM框架利用LLMs的生成性能力，能够进行更为灵活的多跳链接预测。
提高泛化能力：通过指令微调和上下文学习（ICL），KG-LLM框架显著提高了模型在面对未见过的任务和提示时的泛化能力。实验结果表明，KG-LLM框架在多跳链接预测任务中的表现优于传统方法和消融框架，特别是在复杂的多跳关系推理中表现突出。

问题3：在多跳关系预测任务中，ICL的引入对KG-LLM框架的性能有何影响？

显著提升性能：ICL的引入显著提高了KG-LLM框架在多跳关系预测任务中的性能。特别是在WN18RR和NELL-995数据集上，Llama2和Gemma模型的准确率超过了70%。
增强泛化能力：ICL使得模型能够更好地应对未见过的任务。通过在测试输入中添加一个来自训练数据的ICL示例，模型能够利用上下文信息来提高预测的准确性。
不稳定提升：尽管ICL在大多数情况下提升了性能，但在某些情况下，特别是对Flan-T5模型，ICL的引入可能导致性能略有下降。这可能是由于测试提示的长度和复杂性增加，使得模型难以有效利用ICL示例提供的上下文信息。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述