Premise Order Matters in Reasoning with Large Language Models

本文是LLM系列文章，针对《Premise Order Matters in Reasoning with Large Language Models》的翻译。

摘要

大型语言模型（LLM）在各个领域都取得了显著的推理性能。然而，在推理任务领域，我们发现了一个弱点：LLM对前提的排序出奇地脆弱，尽管这种排序不会改变基本任务。特别是，我们观察到，当前提顺序与中间推理步骤中所需的上下文一致时，LLM实现了最佳性能。例如，在演绎推理任务中，以与提示中的基本事实证明相同的顺序呈现前提（与随机排序相反）大大提高了模型的准确性。我们首先考察了前提顺序对各种LLM的演绎推理的影响，我们的评估表明，排列前提顺序会导致性能下降30%以上。此外，我们发布了基于GSM8K的基准R-GSM，以检查数学问题解决的排序效应，并且我们再次观察到相对于原始GSM8K基准，精度显著下降。

1 引言

2 基准

3 实验

4 相关工作

5 结论

在这项工作中，我们发现前提顺序会显著影响LLM在推理任务中的性能，即使前提顺序不会改变底层任务本身。我们的综合评估表明，LLM倾向类似于人类对前提顺序的偏好，即当前提顺序遵循中间推理步骤来解决问题时，LLM实现了最佳性能。相反，当推理问题需要模型来回阅读问题描述时，LLM面临困难，导致性能下降超过30%。我们进一步将研究扩展到数学推理，并提出了R-GSM基准，并再次通过实验证实了排序效应。
虽然人类在推理问题上也偏爱前提顺序，但LLM更容易受到这种顺序效应的影响。我们可以尝试将前提顺序效应归因于几个候选因素，如自回归模型设计、训练目标和训练数据混合。然而，我们将