Graph Descriptive Order Improves Reasoning with Large Language Model

本文是LLM系列文章，针对《Graph Descriptive Order Improves Reasoning with Large Language Model》的翻译。

摘要

近年来，大型语言模型已经在多个领域实现了最先进的性能。然而，LLM在图推理领域的进展仍然有限。我们的工作通过深入研究LLM的图推理来深入研究这一差距。在这项工作中，我们揭示了图描述的顺序对LLM的图推理性能的影响，这显著影响了LLM的推理能力。通过改变这个顺序，我们将LLM的性能从42.22%提高到70%。此外，我们引入了标度图推理基准，用于评估LLM在各种图大小下的性能，并评估LLM的图推理能力与图大小之间的关系。我们发现LLM的图推理性能不会随着图大小的增加而单调下降。实验跨越了几个主流模型，包括GPT-3.5、LLaMA-2-7B和LLaMA-2-13B，以提供全面的评估。

1 引言

2 概念与前言

3 任务和定义

4 图到文本编码

5 实验设置

6 实验

7 相关工作

8 结论

在这项工作中，我们揭示了基于文本的边序列的顺序对LLM图推理性能的影响，并评估了LLM在图上的性能与图大小之间的关系，发现LLM的图推理性能不会随着图大小的增加