MuseGraph: Graph-oriented Instruction Tuning of Large Language Models for Generic Graph Mining

最新推荐文章于 2026-01-09 21:51:15 发布

原创最新推荐文章于 2026-01-09 21:51:15 发布 · 217 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#语言模型 #人工智能 #自然语言处理

LLM Daily 同时被 3 个专栏收录

1839 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

Graph Neural Network

25 篇文章

订阅专栏

LLM for Graph

7 篇文章

订阅专栏

MuseGraph是一个融合GNN和LLM优势的框架，用于图挖掘任务。它使用自适应输入生成、多样化指令生成和图感知指令调优，提高了跨任务和数据集的效率和准确性。实验证明，MuseGraph在图任务中表现优秀，同时保持LLM的生成能力。

本文是LLM系列文章，针对《MuseGraph: Graph-oriented Instruction Tuning of Large Language Models for Generic Graph Mining》的翻译。

摘要

在各种现实世界应用中，具有丰富属性的图对于建模互连实体和改进预测至关重要。传统的图神经网络（GNN）通常用于对属性图进行建模，当应用于不同的图任务和数据集时，每次都需要重新训练。尽管大型语言模型（LLM）的出现为自然语言处理引入了一种新的范式，但LLM在图挖掘中的生成潜力在很大程度上仍未得到充分挖掘。为此，我们提出了一个新的框架MuseGraph，它无缝集成了GNN和LLM的优势，并促进了跨不同任务和数据集的更有效和通用的图挖掘方法。具体来说，我们首先通过所提出的自适应输入生成引入了一种紧凑的图描述，以在语言标记限制的约束下封装图中的关键信息。然后，我们提出了一种多样化的指令生成机制，该机制从LLM（例如，GPT-4）中提取推理能力，为不同的图任务创建特定任务的基于思想链的指令包。最后，我们提出了一种图感知的指令调优，它具有跨任务和数据集的动态指令包分配策略，确保了训练过程的有效性和通用性。我们的实验结果表明，在不同的图任务中有了显著的改进，展示了我们的MuseGraph在保持LLM的生成能力的同时，在提高面向图的下游任务的准确性方面的潜力。