GRAPHLLM：提升大语言模式的图推理能力

        受到智能单元（如人脑）可以处理不同类型数据的启发，有一种趋势是使 LLM 能够理解各种形式的数据，例如音频audiogpt和图片。尽管在解释多模态信息方面取得了重大进展（Yin et al.， 2023），但使 LLM 能够理解图数据仍然相对未被探索。

        现在的一些研究表明，LLM在处理图数据时的表现低于平均。就算微调最近的LLaMA2-7B/13B仍然在几个基本的图推理任务中表现不佳。这就提出了一个基本问题：是什么阻碍了 LLM 在图推理任务上的能力？

        作者认为这是由将图转换为自然语言描述（Graph2Text）的做法导致的。

        1.采用Graph2Text会使得LLM被迫从连续文本中辨别隐式图形结构。与专门用来处理图结构的学习模型相比，LLM 在基于顺序图描述的图学习方面可能面临效率低下的问题。

        2.采用Graph2Text会导致冗长的文本，这同样不利于LLM学习。

图 1：Graph2Text 与 GraphLLM 的演示。LLM的任务是计算从起始虫洞传递到结束虫洞所需的最小暗物质量，给定每个节点的连通性图和文本描述。

        为了解决Graph2Text的问题，本文提出了GraphLLM模型。其核心思想是将图学习模块（图转换器）与LLM协同集成，以增强图推理能力。

        1.GraphLLM 采用端到端方法将图学习模型和 LLM 集成到一个有凝聚力的系统中。通过与图学习模型协同作用，LLM 可以利用其对图数据的卓越表达能力。

        2.GraphLLM 将图形信息压缩为一个简洁的、固定长度的prefix，从而避免了生成冗长图形描述。

定义

        1. （输入图）由一个n维特征和一个邻接矩阵组成{V，ε}，Graph2Text的方法将图形描述 A（V， E） → TextDescription。

        2. （图推理任务微调）给定一个预训练好的LLM M其中包含参数θ，m个指令对的数据集其中，每个是一个图，以及一个特定于任务的目标函数 L。微调过程旨在通过最小化以下损失函数来学习特定于任务的参数 θ* 

其中M(;θ')表示由参数θ'微调的LLM的输出

GraphLLM

GraphLLM的架构

。。。