Chain-of-Thought Reasoning without Prompting

本文是LLM系列文章，针对《Chain-of-Thought Reasoning without Prompting》的翻译。

摘要

在增强大型语言模型（LLM）的推理能力方面，先前的研究主要集中在特定的提示技术上，如小样本或零样本思想链（CoT）提示。这些方法虽然有效，但通常涉及手动密集的提示工程。我们的研究采用了一种新颖的方法，提出了一个问题：LLM能在没有提示的情况下有效推理吗？我们的研究结果表明，有趣的是，通过简单地改变解码过程，可以从预训练的LLM中引出CoT推理路径。与传统的贪婪解码不同，我们研究了顶部-𝑘 替代token，揭示了CoT路径经常是这些序列中固有的。这种方法不仅绕过了提示的混杂因素，而且使我们能够评估LLM的内在推理能力。此外，我们观察到解码路径中CoT的存在与模型的解码答案的更高置信度相关。该置信度度量有效地区分了CoT路径和非CoT路径。对各种推理基准的广泛实证研究表明，所提出的CoT解码有效地从语言模型中激发了推理能力，而这些能力以前被标准的贪婪解码所掩盖。

1 引言

2 COT解码

3 实验

4 相关工作

5 结论和讨论

我们研究了语言模型在解码过程中生成CoT推理路径的固有能力，不需要任何专门的提示。我们的研究结果表明，与只使用贪婪解码的普遍做法相反，探索替代顶端-𝑘 解码空间中的token揭示了这些模型中推理路径的自然存在。此外，我们的经验观察结果强调，CoT推理路径的存在与解码其最终答案时模型置信度的增加相关。基于这一观察，我们引入了CoT解码，以从语言模型中提取更可靠的解码路径，从而提高