Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT

本文是LLM系列的文章，针对《Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT》的翻译。

摘要

本文旨在开发一个对复杂图形数据具有推理能力的大型语言模型。目前，LLM在各种自然语言学习任务上取得了令人印象深刻的成绩，其扩展也被应用于研究具有多种模式数据的视觉任务。然而，当涉及到图学习任务时，现有的LLM存在非常严重的缺陷，因为它们在执行精确的数学计算、多步骤逻辑推理、对空间和拓扑因素的感知以及处理时间进展方面存在遗传弱点。
为了应对这些挑战，在本文中，我们将研究赋予现有LLM图形推理能力的原理、方法和算法，这将对LLM和图形学习的当前研究产生巨大影响。受最新的ChatGPT和Toolformer模型的启发，我们提出了Graph-Toolformer（面向图形推理的Toolformer）框架，通过ChatGPT增强的提示来教授LLM自己使用外部图形推理API工具。具体来说，在本文中，我们将研究教Graph ToolFormer处理各种图形数据推理任务，包括（1）非常基本的图形数据加载和图形属性推理任务，从简单的图形顺序和大小到图形直径和周长，以及（2）对真实世界图形数据的更高级的推理任务，如书目论文引用网络，蛋白质分子图、顺序推荐系统、在线社交网络和知识图。
从技术上讲，为了构建Graph ToolFormer，我们建议分别为每个图推理任务手工制作指令和少量提示模板。通过上下文学习，基于这些指令和提示模板示例，我们采用ChatGPT通过最合适的外部API函数调用来注释和增强更大的图形推理语句数据集。这种增强的提示数据集将通过选择性过滤进行后处理，并用于微调现有的预先训练的因果LLM，如GPT-J和LLaMA，以教他们如何在输出生成中使用图推理工具。为了证明Graph ToolFormer的有效性，我们对各种图推理数据集和任务进行了广泛的实验研究，并推出了具有各种图推理能力