Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs

本文是LLM系列文章，针对《Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs》的翻译。

摘要

图学习由于其在现实世界中的广泛应用而引起了极大的关注。在具有文本节点属性的图上学习最流行的管道主要依赖于图神经网络（GNN），并利用浅文本嵌入作为初始节点表示，这在一般知识和深刻的语义理解方面具有局限性。近年来，大型语言模型（LLM）已被证明具有广泛的公共知识和强大的语义理解能力，这彻底改变了现有的处理文本数据的工作流程。在本文中，我们旨在探索LLM在图机器学习中的潜力，特别是在节点分类任务中，并研究两种可能的管道：LLM作为增强器和LLM作为预测器。前者利用LLM利用其海量知识增强节点的文本属性，然后通过GNN生成预测。后者试图直接使用LLM作为独立的预测因子。我们在不同的环境下对这两条管道进行了全面、系统的研究。从全面的实证结果中，我们进行了原始的观察，发现了新的见解，这些见解开辟了新的可能性，并提出了利用LLM在图上学习的有希望的方向。

1 引言

2 前言

3 LLM在图上的流水线

4 LLM作为增强器

5 LLM作为预测器

6 相关工作

7 结论

在本节中，我们总结了我们的主要发现，介绍了本研究的局限性，并讨论了在图机器学习中利用LLM的潜在方向。

7.1 关键发现

在本文中，我们提出了两个潜在的管