Graph Intelligence with Large Language Models and PromptLearning-优快云博客

具有大型语言模型和快速学习的图形智能

使用LLM增强图形任务。大语言模型（LLM）的使用已经改变了与图数据的交互，特别是对于具有文本相关节点属性的图。如图1所示，LLM和图技术的融合已被证明对各种基于图的领域内的一系列应用是有效的。LLM和传统的图神经网络（GNN）之间的协同作用提供了互惠互利，并增强了图分析的能力。GNN擅长处理结构化数据，但通常使用语义有限的节点特征，限制了它们充分表达节点固有复杂性的能力。通过集成LLM，GNN可以访问丰富的节点功能，这些功能可以更有效地封装结构和上下文维度。相反，尽管LLM擅长处理文本信息，但它们通常缺乏分析图固有的结构数据的能力。通过将LLM与GNN相结合，LLM在文本理解方面的优势可以与GNN的结构分析能力相协调，从而增强图形学习能力。根据[9]中提出的框架，我们组织了一个详细的第一级分类法，该分类法对LLMs的角色进行了分类-例如增强子，预测子和比对子-在整个模型架构中，为初始分类引入了更大的特异性。

Graph Prompts help graph tasks. 最近，一些研究人员已经开始将提示学习引入到图形数据中。然而，一些进一步的研究发现，图形提示与NLP领域的对应物非常不同。首先，图提示的设计被证明是一个更复杂的奋进相比，制定语言提示。经典的语言提示通常包括附加到输入文本的预定义短语或可学习向量。在这里，主要的焦点在于语言提示的内容。然而，我们实际上并不知道图形提示是什么样子。图形提示符不仅包含提示符“内容”，还包括确定如何构造这些提示符标记并将其无缝集成到原始图形中的未定义任务。其次，下游图问题与预训练任务的协调比语言任务更困难。例如，语言模型的典型预训练方法是通过模型预测掩码词。然后，许多下游任务，如问答和情感分类，可以很容易地重新定义为单词级任务。与NLP不同，预训练任务通常共享大量的任务子空间，图形任务跨越节点级，边级和图级目标，使预训练借口适应性较差。第三，与NLP中的提示（通常是一些可理解的短语）相比，图形提示通常对非专业人员来说不那么直观。在没有全面的理论分析的情况下，图提示在图模型中所起的基本性质和作用仍然有些难以捉摸。

对于设计的图提示的质量，也缺乏明确的评价标准。另外，图提示还有许多不清楚的问题需要我们进一步理解。例如，这些图形提示的效果如何？在参数复杂度和训练负担方面，它们的效率如何？这些提示操作原始图形数据的功能有多强大和灵活？鉴于这些错综复杂的问题，迫切需要深入研究AGI中图形提示的潜力，从而为更深入地理解更广泛的数据科学领域中这一不断发展的前沿领域铺平道路。

Proposed Taxonomy

我们引入了一种分类法，将合并图和文本模态的方法分为三个主要类别：（1）LLM作为增强器，其中部署LLM以提高GNN的分类效率;（2）LLM作为预测器，其中LLM利用图结构数据来执行预测;以及（3）GNN-LLM对齐，其中LLM通过各种对齐方法为GNN提供语义增强。值得注意的是，有些模型几乎不涉及LLM，这使得它们很难在这些主要类别中进行分类。这些例外情况归入“其他”类别。例如，在LLM-GNN [10]中，LLM充当注释器，为ChatGPT选择要标记的节点，从而丰富了GNN训练。GPT 4GNAS [87]将LLM视为图神经架构搜索领域的知识控制器，采用GPT-4 [60]来探索设计景观并构建新的GNN框架。此外，ENG [98]利用LLM作为样本生成器，创建额外的标记训练实例，以确保GNN有充足的监督信号。在接下来的部分中，我们将深入研究分类法中每个主要类别的全面调查，讨论LLM到以图为中心的任务中的集成。

4.1 Design Aspects of Graph Prompts

Question 1: How are Graph Prompts Designed?

A. Prompt Representation as Tokens.

图提示的基本概念需要用额外的属性来扩充原始图特征[108]。例如，考虑一个图的特征矩阵X = {R1，· · ·，R2} ∈R1 ×R3，其中R2 ∈ R1×R3表示第n个节点的特征，R3表示特征空间维数。𝑥𝑖Fang等人的研究。[20]和Shirkavand和Huang [70]将基本提示概念化为一个可学习的向量R1∈ R1×R2，当添加到每个节点特征时，将特征矩阵转换为X R2 = {R1+R2，· · ·，R2+R3}。这种重构的特征矩阵便于利用预训练的图模型来处理图。随后的研究[21]将这一概念扩展到多个令牌，提高了性能。各种方法，包括PGCL [26]和VNT [80]，已经为语义和上下文解释引入了不同的提示向量，通过元素乘法将它们应用于图形级表示。因此，GraphPrompt [55]在模型的隐藏层使用提示令牌，优化图池操作，从而在提示令牌维度和应用方面有所不同。