【论文带读】LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings

摘要： 由于标记数据稀缺的挑战，零样本图机器学习，尤其是图神经网络（GNN），引起了人们的极大兴趣。虽然自监督学习和图提示学习等方法已被广泛探索，但它们通常依赖于特定于任务的标签的微调，限制了它们在零样本场景中的有效性。受指令微调大语言模型 (LLM) 的零样本功能的启发，文中引入了一种名为 Token Embedding-Aligned Graph Language Model (TEA-GLM)（Token 嵌入对齐图语言模型） 的新颖框架，该框架利用 LLM 作为跨数据集和跨任务用于图机器学习的零样本学习器。具体来说，该方法预训练 GNN，将GNN得到的表示与 LLM 的token嵌入对齐。然后，训练一个线性投影器，将 GNN 的表示转换为固定数量的 graph token 嵌入，而无需调整 LLM。针对不同级别的各种图任务设计了统一的指令，例如节点分类（节点级）和链路预测（边级）。这些设计选择共同增强了文中的方法在零样本学习中的有效性，使其与现有方法区分开来。

1 背景介绍

1.1 GNN的局限性

GNN是图机器学习中SOTA的模型架构。GNN 可以有效地捕获和建模图中存在的复杂关系和依赖关系，但是GNN也有很多不足之处：
（1）跨不同数据集或下游任务转换时泛化功能有限。
（2）现有的自监督学习和图提示学习方法通常需要大量的微调。
因此，结合 LLM 并利用 LLM 的泛化功能来解决此问题是一种可行的方法。

1.2 LLM解决Graph问题的方案

目前用大语言模型来解决图问题有一下三种方案：
（1）Graph to Text：将图形结构信息表示为 LLM 的文本输入，但是由于 LLM 无法理解图形结构，这通常会导致次优解。
（2）LLM as Encoders：采用 LLM 作为初始文本编码器，来增强图的节点表示。但是由于用GNN作为预测器，其会限制模型的可迁移能力。
（3）LLM as Predictors：将 LLM 作为输出表示或预测的最终组件。但是现有的模型表现不是很好。

1.3 LLMs与GNN结合中的关键问题

（1）如何集成来自不同模态的模型：1、GNN 获得的节点表示空间与 LLM 的token嵌入空间之间存在差距。 2、如何使 LLM 能够理解节点表示是一个关键挑战。
（2）对未知的数据集和任务的泛化能力：1、增强模型的泛化能力也是一项挑战。2、关键在于训练模型学习如何解决问题，而不是记住答案。

1.4 文章贡献

鉴于以上问题与挑战，文中提出了一种名为token嵌入对齐图语言模型（TEA-GLM）的新颖框架。受到指令微调 LLM 的零样本功能的启发，TEA-GLM 利用 LLM 作为图机器学习的跨数据集和跨任务零样本预测器。核心思想是预训练 GNN 并将其表示与 LLM 的token嵌入对齐。这种对齐使 GNN 能够有效地利用 LLM 的预训练知识，使其能够跨不同的数据集和任务进行泛化，而无需针对特定任务进行微调。此外，该方法训练线性投影仪将graph表示转换为固定数量的token嵌入，然后将其合并到为不同级别的各种图形任务设计的统一指令中。
文章的贡献总结如下：
• 引入了 TEA-GLM，这是一种新颖的框架，它将 GNN 表示与 LLM token嵌入相结合，从而实现图机器学习的跨数据集和跨任务零样本学习。
• 提出了一个线性投影器，将图表示映射到固定数量的图token嵌入中。这些嵌入被纳入为不同级别的各种图任务设计的统一指令中，增强了模型的泛化能