Problem Elaboration Prompting Improves Mathematical Reasoning in Large Language Models

本文是LLM系列文章，针对《Look Before You Leap: Problem Elaboration Prompting Improves
Mathematical Reasoning in Large Language Models》的翻译。

摘要

大型语言模型（LLM）在NLP任务中表现出了令人印象深刻的性能。到目前为止，它们在复杂的推理任务中仍然面临挑战，并且可能对输入上下文敏感。尽管在增强推理过程和提高前缀提示稳健性方面投入了大量精力，但问题上下文的关键作用却被忽视了。在这项研究中，我们提出了一种新的方法来提高LLM的数学能力，称为问题精化提示（PEP）。具体来说，PEP在推理之前对问题上下文进行分解和阐述，从而增强了全局上下文建模，降低了解析难度。在数据集上进行的实验表明，在复杂推理方面具有很好的性能，并表明了对不成形问题的有益影响。例如，使用GPT-3.5模型（text-davinci-003），与标准CoT相比，我们在GSM8k上观察到贪婪解码改进了9.93%，自一致性改进了8.80%。使用ChatGPT（turbo）和PEP，我们在SVAMP和GSM8k分别实现了86.2%和90.98%的SOTA性能。

1 引言

2 相关工作

3 问题细化提示

4 实验

5 讨论

我们提出了一种新的方法，称为问题精化提示（PEP），以提高LLM的推理能力。PEP提供了几