LLMs for Relational Reasoning: How Far are We?

本文是LLM系列文章，针对《LLMs for Relational Reasoning: How Far are We?》的翻译。

摘要

大型语言模型（LLM）通过在广泛的下游任务上实现最先进的性能，已经彻底改变了许多领域（如自然语言处理、软件工程等）。为了实现稳健和通用的人工智能，研究LLM的推理能力的兴趣激增。尽管以前的工作采用的文本和数字推理基准相当肤浅和简单，但很难仅仅通过在这些基准上取得积极的结果来得出LLM具有强大的推理能力的结论。最近的研究表明，LLM不善于通过评估其在强化学习基准上的表现来解决需要常识性规划的顺序决策问题。在这项工作中，我们基于归纳逻辑编程（ILP）基准对几种最先进的LLM的推理能力进行了深入评估，这被广泛认为是评估逻辑程序归纳/合成系统的代表性和具有挑战性的测量，因为它需要归纳严格的因果逻辑来实现对独立同分布（IID）和分布外（OOD）测试样本的稳健推导。我们的评估表明，与模型大小小得多的神经程序诱导系统相比，最先进的LLM在推理能力方面要差得多，因为使用自然语言提示或真值矩阵提示实现的性能和泛化能力要低得多。

1 引言

2 前言

3 关系推理能力评估管道

4 实验设置

5 评估结果

6 相关工作

7 结论

在这项工作中，我们为LLM和神经程序归纳模型提出了一个通用的、可扩展的关系推理能力评估管道。基于流水线，我们对LLM的关系推理能力进行了首次综合评估。我们的研究结果表明，当使用标准的自然语言提示