本文是LLM系列文章,针对《FROM INDETERMINACY TO DETERMINACY: AUGMENTING LOGICAL REASONING CAPABILITIES WITH LARGE LANGUAGE MODELS》的翻译。
摘要
大型语言模型(LLM)的最新进展彻底改变了推理任务的格局。为了增强LLM模拟人类推理的能力,许多先前的工作都集中在使用特定的思维结构(如链、树或图)对中间推理步骤进行建模。然而,基于LLM的推理在三个关键方面仍然面临挑战:1)为各种任务选择合适的推理结构;2) 充分有效地利用已知的条件来推断新的见解;3) 考虑历史推理经验对未来推理步骤的影响。为了应对这些挑战,我们提出了DetermLR,这是一种新的推理框架,它将推理过程表述为从不确定前提到确定前提的转换过程。这一过程的特点是确定性前提的逐渐积累,使结论越来越清晰。DetermLR包括三个基本组成部分:1)前提识别:我们系统地将前提分为两种不同的类型:确定型和不确定型。这使LLM能够灵活地定制推理结构,以匹配特定的任务复杂性。2) 前提优先级和探索:我们利用定量测量来评估每个前提与目标的相关性,优先考虑更相关的前提,以探索新的见解。3) 具有推理记忆的迭代过程:我们引入了一个推理记忆模