Distilling Large Language Models for Text-Attributed Graph Learning

LLM在文本属性图学习中的应用与蒸馏

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量291

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Graph Neural Network Distilling 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138088308

LLM 日更同时被 3 个专栏收录

828 篇文章

已下架不支持订阅

Distilling

34 篇文章

订阅专栏

Graph Neural Network

23 篇文章

订阅专栏

本文探讨如何将大型语言模型（LLM）的知识转移到局部图模型，用于文本属性图（TAG）学习。研究发现，尽管LLM在小样本和零样本学习中有优势，但存在可扩展性、成本和隐私问题。为此，提出了一种新框架，通过LLM教导的解释器模型，使图模型能够模仿LLM的推理，提高TAG学习效果。实验结果显示，该框架在四个数据集上平均提升了1.25%的性能。

本文是LLM系列文章，针对《Distilling Large Language Models for Text-Attributed Graph Learning》的翻译。

摘要

文本属性图（TAG）是连接的文本文档的图。图模型可以有效地学习标签，但它们的训练在很大程度上依赖于人工注释标签，而在许多应用程序中，人工注释标签很少甚至不可用。大型语言模型（LLM）最近在小样本和零样本TAG学习方面表现出了显著的能力，但它们存在可扩展性、成本和隐私问题。因此，在这项工作中，我们专注于通过在TAG学习中提取LLM到局部图模型的能力，将LLM和图模型与其互补的优势协同起来。为了解决LLM（文本的生成模型）和图模型（图的判别模型）之间的固有差距，我们建议首先让LLM教授具有丰富文本基本原理的口译员，然后让学生模型在没有LLM文本基本原理情况下模仿口译员的推理。大量实验验证了我们提出的框架的有效性。