A New Framework to Guide LLMs‘ Non-linear Thinking

本文是LLM系列文章，针对《Eliminating Reasoning via Inferring with Planning: A New Framework to Guide LLMs’ Non-linear Thinking》的翻译。

摘要

思维链（CoT）提示及其变体探索通过模仿类人的线性认知和逻辑，为大型语言模型（LLM）配备高级推理能力。然而，人类的思维是复杂的，既有线性思维，也有非线性思维。在这项工作中，我们提出了推理排除提示（IEP），这是一种结合了排除和推理原理的新颖提示，旨在引导LLM进行非线性思考。IEP指导LLM进行规划，然后利用自然语言推理（NLI）来推断每个可能的解决方案与上下文、常识或事实的隐含关系，从而通过对推理的反思产生更广阔的视角。与其他仅反映线性认知过程的基于CoT的方法相比，这种前向规划和后向消除过程使IEP能够更好地模拟复杂的人类思维过程。我们进行了一系列实证研究，证实了IEP在各种任务中始终优于CoT。此外，我们观察到，集成IEP和CoT进一步提高了LLM在某些任务上的性能，突出了为LLM配备混合逻辑过程的必要性。此外，为了更好地评估人类逻辑固有的综合特征，我们引入了心智能力推理基准（MARB）。该基准测试包括六个新颖的子任务，共有9115个问题，其中1685个是用手工制作的基本原理参考开发的。我们相信，IEP和MARB都可以成为揭示LLM逻辑和语言推理能力的一个很有前途的方向，并推动进一步的进步。MARB将很快在匿名链接中提供。

1 引言

2 动机

3 我们的方法：推理消除提示（IEP）框架

4 构建MARB

5 实验

6 相关工作