The Unreasonable Effectiveness of Eccentric Automatic Prompts

本文是LLM系列文章，针对《The Unreasonable Effectiveness of Eccentric Automatic Prompts》的翻译。

摘要

大型语言模型（LLM）已经显示出非凡的解决问题和基本数学能力。然而，它们的功效在很大程度上取决于提示的形成。本研究试图量化将“积极思维”纳入提示的系统信息的影响，并将其与系统提示优化进行比较。我们在GSM8K数据集上评估了60种系统消息片段组合的性能，这些组合在有思维链提示和没有思维链提示的情况下进行了测试，涉及三个参数从70亿到700亿不等的模型。我们的研究结果表明，结果并不能在模型中普遍推广。在大多数情况下，“积极思考”的加入会促使受到积极影响的模型性能。然而，值得注意的是，Llama2-70B在不使用思维链时表现出异常，因为发现最优系统消息根本没有。考虑到对大型黑匣子模型进行手动调整提示实验的组合复杂性和计算时间，我们随后比较了最佳“积极思维”的性能。针对系统提示优化的输出进行提示。我们表明，即使在使用较小的开源模型时，使用自动提示优化器也是提高性能的最有效方法。此外，我们的研究结果表明，得分最高的自动优化提示表现出远超预期的特殊程度。

1 引言

2 相关工作

3 实验设置

4 实验结果

5 再现性问题

6 未来工作

7 结论

对提示的微小修改会在性能上表现出如此戏剧性的波动，这既令人惊讶又令人恼火。更是如此，因为没有明显的方法来提高性能。影响性能是微不足道的。当使用科学过程来评估每一个变化