Exploring the Limitations of Graph Reasoning in Large Language Models

本文是LLM系列文章，针对《Exploring the Limitations of Graph Reasoning in Large Language Models》的翻译。

摘要

经过预训练的大型语言模型仅通过基于语言的提示就展示了各种类型的推理能力。然而，在本文中，我们通过图推理的问题来测试5种不同LLM（GPT-4、GPT-3.5、Claude-2、Llama-2和Palm-2）的图推理深度。特别地，我们设计了10个不同的图遍历问题，每个问题都代表着不断增加的复杂性。此外，我们分析了模型在各种设置下的性能，如不同大小的图以及不同形式的kshot提示。我们通过这个基准测试过程强调了LLM的各种局限性、偏差和性质，例如与图中每个节点的平均遍历自由度的反比关系，kshot提示对图推理任务的总体负面影响，以及阻止LLM识别缺乏有效解决方案的正响应偏差。最后，我们提出了一种专门为图遍历任务设计的新提示技术，称为PathCompare，与标准提示和CoT相比，LLM的性能显著提高。

1 引言

2 实验设置

3 一般性讨论

4 PATHCOMPARE提示

5 总结

通过本文，我们深入探讨了各种LLM的图形推理能力。我们建立在[8]工作的基础上，他们强调了与图推理相关的各种趋势，如LLM中的基本图推理能力、kshot提示的性能没有任何改进以及各种反应偏差。本研究采用了更精细的方法来分析LLM。首先，我们从不同的模型族（即不同的架构、训练数据和方法以及不同的微调方法）中选择更广泛的模型，并在推理任务中系统地比较不同的模型。我们的问题设计针对日益复杂的问题和添加的约束来评估这些