本文是LLM系列文章,针对《Graph Descriptive Order Improves Reasoning with Large Language Model》的翻译。
摘要
近年来,大型语言模型已经在多个领域实现了最先进的性能。然而,LLM在图推理领域的进展仍然有限。我们的工作通过深入研究LLM的图推理来深入研究这一差距。在这项工作中,我们揭示了图描述的顺序对LLM的图推理性能的影响,这显著影响了LLM的推理能力。通过改变这个顺序,我们将LLM的性能从42.22%提高到70%。此外,我们引入了标度图推理基准,用于评估LLM在各种图大小下的性能,并评估LLM的图推理能力与图大小之间的关系。我们发现LLM的图推理性能不会随着图大小的增加而单调下降。实验跨越了几个主流模型,包括GPT-3.5、LLaMA-2-7B和LLaMA-2-13B,以提供全面的评估。
1 引言
2 概念与前言
3 任务和定义
4 图到文本编码
5 实验设置
6 实验
7 相关工作
8 结论
在