Automatic Engineering of Long Prompts

本文是LLM系列文章，针对《Automatic Engineering of Long Prompts》的翻译。

摘要

在以提示形式提供的全面说明和演示的指导下，大型语言模型（LLM）在解决复杂的开放领域任务方面表现出了非凡的能力。然而，这些提示可能很长，通常包括数百行和数千个token，并且它们的设计通常需要大量的人力。最近的研究探索了短提示的自动提示工程，通常由一句或几句组成。然而，由于其巨大的搜索空间，长提示的自动设计仍然是一个具有挑战性的问题。在本文中，我们研究了贪婪算法和遗传算法在自动长提示工程中的性能。我们证明了波束搜索的简单贪婪方法在搜索效率方面优于其他方法。此外，我们还介绍了两种新技术，它们利用搜索历史来提高我们搜索算法中基于LLM的变异的有效性。我们的结果表明，所提出的自动长提示工程算法在Big Bench Hard中的八项任务上平均实现了9.2%的准确率增益，突出了自动化提示设计对充分利用LLM能力的重要性。

1 引言

2 相关工作

3 提出的方法

4 实验设置

5 结论，局限性和未来工作

我们研究了长提示的自动提示工程问题，通常包括数千个token。我们研究了标准贪婪算法和遗传算法的性能，并开发了一种具有优异性能的新型搜索算法。在训练集上只有50个评估的情况下，我们的方法在Big Bench Hard的8个任务中实现了平均9.2%的绝对准确性提高。这表明了自动长提示调优的显著潜在好处，并强调了这一新兴领域的重要性。
作为第一篇专注于整个长提示的自动工程的论文，我们确定了当前方法的几个局限性，这些