LARGE LANGUAGE MODELS AS OPTIMIZERS

本文是LLM系列文章，针对《LARGE LANGUAGE MODELS AS OPTIMIZERS》的翻译。

摘要

优化无处不在。虽然基于导数的算法是解决各种问题的强大工具，但梯度的缺乏给许多现实世界的应用带来了挑战。在这项工作中，我们提出了PROmpting优化（OPRO），这是一种利用大型语言模型（LLM）作为优化器的简单有效的方法，其中优化任务用自然语言描述。在每个优化步骤中，LLM都会从包含先前生成的解决方案及其值的提示中生成新的解决方案，然后对新解决方案进行评估，并将其添加到下一个优化步骤的提示中。我们首先展示了关于线性回归和旅行推销员问题的OPRO，然后继续进行提示优化，目标是找到最大限度提高任务准确性的指令。通过各种LLM，我们证明了OPRO优化的最佳提示在GSM8K上比人类设计的提示高出8%，在Big Bench Hard任务上高出50%。

1 引言

2 OPRO：LLM作为优化器

3 激励性例子：数学优化

4 应用：提示优化

5 提示优化实验

6 相关工作

7 结论

我们开始使用LLM作为优化器，LLM逐渐生成新的解决方案来优化目标函数。我们首先用线性回归和旅行推销员问题来激励OPRO，然后将其作为一个具体应用来进行提示优化。我们的评估表明，LLM有能力根据过去的优化轨迹逐步改进生成的解决方案。有趣的是，在小规模旅行推销员问题上，OPRO的性能与一些手工制作的启发式算法不相上下。