Large Language Models are Contrastive Reasoners

本文是LLM系列文章，针对《Large Language Models are Contrastive Reasoners》的翻译。

摘要

提示方法在增强预训练的大型语言模型（LLM）的能力方面发挥着至关重要的作用。我们探讨了对比提示（CP）如何显著提高大型语言模型执行复杂推理的能力。我们通过在LLM提供答案之前简单地添加“让我们给出正确和错误的答案”来证明LLM是不错的对比推理机。在各种大型语言模型上的实验表明，零样本对比提示提高了一系列算术、常识和符号推理任务的性能，而无需任何手工制作的小样本示例，例如使用最先进的GPT-4模型，将GSM8K和AQUA-RAT的准确率从35.9%提高到88.8%，将41.3%提高到62.2%。我们的方法不仅在大多数算术和常识性推理任务中超越了零样本CoT和小样本CoT，而且可以与现有的提示方法无缝集成，与现有的方法相比，得到了改进或可比的结果。我们的代码可在以下GitHub存储库中获得：https://github.com/yao8839836/cp。

1 引言

2 相关工作

3 对比提示

4 实验

5 局限性和未来工作

6 结论

我们提出了一种基于模板的对比推理提示方法。定量和定性结果表明，Zero-ShotCoT在各种推理任务中都表现出显著的改进。我们的方法可以通过在LLM提供答案之前加入触发句，与任何提示技术无缝集成。CP不仅在大多数算术和常识性推理任务