Large Language Model Meets Graph Neural Network in Knowledge Distillation

本文是LLM系列文章，针对《Large Language Model Meets Graph Neural Network in Knowledge Distillation》的翻译。

摘要

尽管最近社区披露了大型语言模型（LLM）在理解文本属性图（TAG）方面的进步和潜在应用，但LLM的高计算和存储要求以及模型推理过程中的长延迟阻碍了其在生产中的部署。同时，尽管传统的图神经网络（GNN）轻权重，善于学习图的结构特征，但它们掌握TAG中复杂语义的能力在实际应用中受到一定的限制。为了解决这些局限性，我们专注于TAG中节点分类的下游任务，并提出了一种新的图知识蒸馏框架，称为语言图知识蒸馏（LinguGKD），使用LLM作为教师模型，GNN作为学生模型进行知识蒸馏。它涉及在设计的定制提示上对LLM进行面向TAG的指令调整，然后传播知识，并在潜在空间中将从教师LLM到学生GNN的分层学习节点特征对齐，采用分层自适应对比学习策略。通过在各种LLM和GNN模型以及多个基准数据集上进行广泛的实验，所提出的LinguGKD显著提高了学生GNN的预测精度和收敛速度，而不需要额外的数据或模型参数。与教师LLM相比，蒸馏GNN在一些基准数据集上超过了教师LLM的分类精度，在计算和存储需求少得多的情况下实现了卓越的推理速度。

1 引言

2 前言

3 方法

4 实验

5 相关工作

6 结论

在本文中，我们探索了使用LLM作为图知识蒸馏的教师模型的新概念，重点是TAG中的节点分类。首先，将节点分类视为纯文本生成任务，我们对预训练的LLM进行了微调，通过对文本属性和邻域