Automatic Prompt Selection for Large Language Models

本文是LLM系列文章，针对《Automatic Prompt Selection for Large Language Models》的翻译。

摘要

大型语言模型（LLM）可以通过适当的指令提示执行各种自然语言处理任务。然而，手动设计有效的提示既具有挑战性又耗时。现有的自动提示优化方法要么缺乏灵活性，要么效率低下。在本文中，我们提出了一种有效的方法，可以从有限的合成候选提示集中自动选择给定输入的最佳提示。我们的方法包括三个步骤：（1）对训练数据进行聚类，并使用基于LLM的提示生成器为每个聚类生成候选提示；（2） 合成输入提示输出元组的数据集，用于训练提示评估器根据提示与输入的相关性对提示进行排名；（3） 使用提示评估器在测试时为新输入选择最佳提示。我们的方法平衡了快速通用性和特异性，并消除了对资源密集型训练和推理的需求。它在零样本问答数据集（GSM8K、MultiArith和AQuA）上展示了具有竞争力的性能。

1 引言

2 相关工作

3 自动提示选择

4 实验设置

5 结果与讨论

6 结论

在本文中，我们提出了自动提示选择（APS），这是一种自动提示大型语言模型（LLM）的新方法。我们的方法结合了提示生成和提示排名。它通过将相似的输入分组到集群中并为每个集群生成提示来减少提示搜索空间。然后，它训练一个提示评估者，根据提示引导LLM产生与正确答案匹配的输出的能力对提示进行评分。在三个基准QA数据集上的实验结果显示了两个重要点。首先，所提出的方法可以为不同的输入选择合适的提示。其次，该方法在GSM8K、