Advancing Abstract Reasoning in Large Language Models via Generic Fact Guidance

本文是LLM系列文章，针对《Meaningful Learning: Advancing Abstract Reasoning in Large Language Models via Generic Fact Guidance》的翻译。

摘要

大型语言模型（LLM）在各种推理场景中都取得了令人印象深刻的性能和强大的可解释性，标志着向模仿类人智能迈出了重要一步。尽管如此，当任务是由一般事实支持的简单问题时，LLM往往无法提供一致和准确的答案，这表明抽象推理能力不足。这引发了一场激烈的争论，争论的焦点是LLM是真正的推理还是仅仅是记忆。有鉴于此，我们设计了一项初步研究，以量化和深入研究现有LLM的抽象推理能力。我们的发现揭示了他们的一般推理和抽象推理表现之间的巨大差异。为了缓解这个问题，我们定制了一个抽象推理数据集（AbsR）和一个有意义的学习范式，教LLM如何利用一般事实进行推理。结果表明，我们的方法不仅提高了LLM的一般推理性能，而且在抽象推理能力方面取得了相当大的进步，从简单的记忆或模仿转向对一般事实的更细致的理解和应用。

1 引言

2 抽象推理研究

3 AbsR：抽象推理数据集

4 方法：有意义的学习

5 实验

6 分析

7 相关工作