AUGMENTING LOGICAL REASONING CAPABILITIES WITH LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《FROM INDETERMINACY TO DETERMINACY: AUGMENTING LOGICAL REASONING CAPABILITIES WITH LARGE LANGUAGE MODELS》的翻译。

摘要

大型语言模型（LLM）的最新进展彻底改变了推理任务的格局。为了增强LLM模拟人类推理的能力，许多先前的工作都集中在使用特定的思维结构（如链、树或图）对中间推理步骤进行建模。然而，基于LLM的推理在三个关键方面仍然面临挑战：1）为各种任务选择合适的推理结构；2） 充分有效地利用已知的条件来推断新的见解；3） 考虑历史推理经验对未来推理步骤的影响。为了应对这些挑战，我们提出了DetermLR，这是一种新的推理框架，它将推理过程表述为从不确定前提到确定前提的转换过程。这一过程的特点是确定性前提的逐渐积累，使结论越来越清晰。DetermLR包括三个基本组成部分：1）前提识别：我们系统地将前提分为两种不同的类型：确定型和不确定型。这使LLM能够灵活地定制推理结构，以匹配特定的任务复杂性。2） 前提优先级和探索：我们利用定量测量来评估每个前提与目标的相关性，优先考虑更相关的前提，以探索新的见解。3） 具有推理记忆的迭代过程：我们引入了一个推理记忆模块，用于自动存储和提取可用前提和推理路径，保留历史推理细节，以便在迭代推理过程中更准确地确定前提优先级和进行探索。综合实验结果表明，DetermLR在四项具有挑战性的逻辑推理任务上优于所有基线：LogiQA、ProofWriter、FOLIO和LogicalDepression。与以前的多步推理方法相比，DetermLR可以在需要更少访问状态的情况下获得更好的推理性能，突出了其在处理逻辑推理任务时的优越效率和有效性。

1 引言

2 相关工作

3 DETERMLR