Unleashing the Potential of Large Language Models as Prompt Optimizers

本文是LLM系列文章，针对《Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers》的翻译。

摘要

自动提示优化是提高大型语言模型（LLM）性能的一种重要方法。最近的研究证明了使用LLM作为提示优化器的潜力，它可以通过迭代细化生成改进的任务提示。在本文中，我们通过与基于梯度的模型优化器进行类比，提出了一种新的视角来研究基于LLM的提示优化器的设计。为了将这两种方法联系起来，我们确定了模型参数学习中的两个关键因素：更新方向和更新方法。针对这两个方面，我们借鉴了基于梯度优化的理论框架和学习方法，为基于LLM的提示优化器设计了改进的策略。通过系统地分析一组丰富的改进策略，我们进一步开发了一种功能强大的基于梯度的LLM的提示优化器，称为GPO。在每一步中，它首先从优化轨迹中检索相关提示作为更新方向。然后，它利用基于生成的细化策略来执行更新，同时通过基于余弦的衰减策略来控制编辑距离。大量实验证明了GPO的有效性和效率。特别是，与基线方法相比，GPO在BigBench Hard和MMLU上分别提高了56.8%和55.3%。代码位于https://github.com/RUCAIBox/GPO.

1 引言

2 基于梯度的模型优化器与基于LLM的提示优化器的类比分析