Confidence Matters: Revisiting Intrinsic Self-Correction Capabilities of Large Language Models

本文是LLM系列文章，针对《Confidence Matters: Revisiting Intrinsic Self-Correction Capabilities of Large Language Models》的翻译。

摘要

大型语言模型（LLM）最近的成功促使人们对其自我校正能力越来越感兴趣。本文对LLM的内在自我纠正进行了全面的调查，试图解决目前关于其可行性的争论。我们的研究发现了自我纠正过程中的一个重要潜在因素——LLM的“信心”。忽视这一因素可能会导致模型过度批评自己，从而导致关于自我纠正功效的结论不可靠。我们通过实验观察到，LLM有能力理解其自身反应的“信心”。它激励我们开发一个“如果或其他”（IoE）提示框架，旨在指导LLM评估自己的“信心”，促进内在的自我纠正。我们进行了广泛的实验，并证明我们基于IoE与最初的答案相比，Prompt可以在自我纠正回答的准确性方面实现持续的提高。我们的研究不仅揭示了影响LLM自我纠正的潜在因素，而且引入了一个实用的框架，该框架利用IoE提示原则，以“自信”的方式有效提高自我纠正能力。代码位于https://github.com/MBZUAI-CLeaR/IoE-Prompting.git.

1 引言

2 相关工作

3 方法

4 模型和基准

5 实验