Parameter-Efficient Tuning Large Language Models for Graph Representation Learning

本文是LLM系列文章，针对《Parameter-Efficient Tuning Large Language Models for Graph Representation Learning》的翻译。

摘要

富含文本的图在节点和边上显示了丰富的文本信息，在各种现实世界的业务应用程序中都很普遍。大型语言模型（LLM）在理解文本方面表现出了非凡的能力，这也为在富含文本的图中进行更具表现力的建模带来了潜力。尽管有这些能力，但将LLM有效地应用于图上的表示学习是一项重大挑战。最近，LLM的参数高效微调方法以最小的时间和内存消耗实现了高效的新任务泛化。受此启发，我们引入了图感知参数高效微调-GPEFT，这是一种在富含文本的图上使用LLM进行高效图表示学习的新方法。具体来说，我们利用图神经网络（GNN）将来自相邻节点的结构信息编码到图提示中。然后将此提示插入到文本序列的开头。为了提高图形提示的质量，我们对GNN进行了预训练，以帮助冻结的LLM预测节点文本中的下一个token。与现有的联合GNN和LM相比，我们的方法以可承受的微调成本直接从大型语言模型中生成节点嵌入。我们通过在8个不同的富含文本的图上进行的综合实验验证了我们的方法，观察到在hit@1以及链路预测评估中的平均倒数排名（MRR）。我们的结果证明了我们的模型的有效性和效率，表明它可以顺利地与各种大型语言模型集成，包括OPT、LLaMA和Falcon。

1 引言

2 相关工作

3 符号和前言

4 方法