Knowledge Graph Large Language Model (KG-LLM) for Link Prediction

本文是LLM系列文章，针对《Knowledge Graph Large Language Model (KG-LLM) for Link Prediction》的翻译。

摘要

预测知识图谱（KG）中的多个链接是知识图谱分析领域的一个挑战，由于自然语言处理（NLP）和KG嵌入技术的进步，这一挑战越来越容易解决。本文介绍了一种新的方法，即知识图谱大型语言模型框架（KG-LLM），它利用了关键的NLP范式。我们使用我们的方法将结构化知识图谱数据转换为自然语言，然后使用这些自然语言提示来微调大型语言模型（LLM），以增强KGs中的多跳链接预测。通过将KG转换为自然语言提示，我们的框架旨在识别和学习实体的潜在表示及其相互关系。为了显示KG-LLM框架的有效性，我们在该框架内微调了三个领先的LLM，同时使用非ICL和ICL任务进行全面评估。此外，我们还探讨了该框架为LLM提供零样本功能以处理以前看不见的提示的潜力。我们的实验发现，我们的方法的性能可以显著提高模型的泛化能力，从而确保在不熟悉的场景中进行更精确的预测。

1 引言

2 相关工作

3 方法

4 实验

5 结论和未来工作

我们的研究介绍了知识图谱大型语言模型框架（KGLLM框架），作为知识图谱分析中多跳生成预测任务的一种很有前途的解决方案。通过利用思想链（CoT）和指令微调（IFT）等技术，KG-LLM框架处理的模型大大提高了KG相关任务中预测的准确性。总体而言，消融框架模型在多跳链路预测任务中表现出相对较低的性能，而上下文学习（ICL）的引入进一步阻碍了其性能。然而，无论是否使用ICL，KG-LLM框架模型在多跳链路预测任务中都表现