Are Large Language Models Good Prompt Optimizers?

本文是LLM系列文章，针对《Are Large Language Models Good Prompt Optimizers?》的翻译。

摘要

基于LLM的自动提示优化通常利用LLM作为提示优化器来自我反映和细化提示，在最近的研究中显示出了良好的性能。尽管取得了成功，但这种方法的潜在机制仍未被探索，LLM作为提示优化工具的真正有效性需要进一步验证。在这项工作中，我们进行了全面的研究，以揭示基于LLM的提示优化的实际机制。我们的研究结果表明，LLM优化器在反思过程中很难确定错误的真正原因，倾向于被他们自己的先验知识所偏见，而不是真正反思错误。此外，即使反射在语义上有效，LLM优化器也经常无法通过单个提示细化步骤为目标模型生成适当的提示，部分原因是目标模型的不可预测行为。基于观察结果，我们引入了一种新的“自动行为优化”范式，该范式以更可控的方式直接优化目标模型的行为。我们希望我们的研究能够为自动提示优化的发展提供新的方向。

1 引言

2 背景：基于LLM的自动提示优化

3 评估LLM作为提示优化器

4 基于LLM的提示优化器是否执行有效反射？

5 精炼提示的质量如何以及它们如何影响目标模型的行为

6 大语言模型是好的行为优化器

7 结论

在这项工作中，我们进行了一