LPNL: Scalable Link Prediction with Large Language Models

本文是LLM系列，针对《LPNL: Scalable Link Prediction with Large Language Models》的翻译。

摘要

探索大型语言模型（LLM）在图形学习中的应用是一项新兴的努力。然而，大型图中固有的大量信息对LLM的图学习提出了重大挑战。这项工作专注于链接预测任务，并介绍了LPNL（通过自然语言进行链接预测），这是一个基于大型语言模型的框架，旨在实现大规模异构图上的可扩展链接预测。我们为链接预测设计了新颖的提示，用自然语言表达图的细节。我们提出了一个两阶段采样管道来从图中提取关键信息，并提出了一种分而治之的策略来将输入token控制在预定义的范围内，以应对压倒性信息的挑战。我们基于为链路预测设计的自监督学习来微调T5模型。大量实验结果表明，在大规模图上的链接预测任务中，LPNL优于多个高级基线。

1 引言

2 LPNL体系结构

3 实验

4 相关工作

5 讨论

6 结论

在本文中，我们首次探索了大型语言模型的应用，以解决大规模异构图上的链接预测任务。我们介绍了LPNL，这是一个基于大型语言模型的框架，用于大规模图上的可伸缩链接预测。我们为链接预测任务设计了特定的提示模板，并基于通过两阶段抽样方法获得的锚节点生成提示。然后将这些提示输入到大型语言模型中进行预测。为了解决由于候选邻居数量过多而导致的token过载问题，我们采用了分而治之的策略。经验评估表明，与GNN基线相比，LPNL实现了显著的改进，展示了其在跨领域知识转移和小样本学习场景中的强大能力。