Enhancing Graph Neural Networks with Limited Labeled Data by Actively Distilling Knowledge

本文是LLM系列文章，针对《Enhancing Graph Neural Networks with Limited Labeled Data by Actively Distilling Knowledge from Large Language Models》的翻译。

摘要

图在现实世界中无处不在，例如社交网络分析、生物信息学和知识图谱。图神经网络 （GNN） 在节点分类方面具有很强的能力，这是图的一项基本任务。不幸的是，尽管在实际应用中普遍存在少数样本节点分类任务，但传统的 GNN 在标记节点较少的情况下仍然面临挑战。为了应对这一挑战，已经提出了各种方法，包括图元学习、迁移学习和基于大型语言模型 （LLM） 的方法。然而，传统的元学习和迁移学习方法通常需要来自基类的先验知识，或者无法利用未标记节点的潜在优势。同时，基于 LLM 的方法可能会忽略 LLM 的零样本功能，并严重依赖生成的上下文的质量。在本文中，我们提出了一种集成 LLM 和 GNN 的新方法，利用 LLM 的零样本推理和推理能力，并采用基于 Graph-LLM 的主动学习范式来提高 GNN 的性能。广泛的实验表明，我们的模型在提高节点分类准确性方面的有效性，而标记数据相当有限，大大超过了最先进的基线。

1 引言

2 相关工作

3 前言

4 提出的模型

5 实验结果和分析

6 结论

在本文中，我们将节点分类的任务扩展到一个更具挑战性和现实性的情况，即只有很少的标记数据可用。为了应对这一挑战，我们提出了一种新的小样本节点分类模型，该模型利用了大型语言模型的零样本和推理能力。我们将 LLM 视为老师，从两个不同的角度教授 GNN，包括分布端的 logits 和功能