Large Language Models As Evolution Strategies

本文是LLM系列文章，针对《Large Language Models As Evolution Strategies》的翻译。

摘要

大型Transformer模型能够实现大量所谓的上下文学习算法。其中包括梯度下降、分类、序列完成、转换和改进。在这项工作中，我们研究了从未明确遇到黑箱优化任务的大型语言模型（LLM）原则上是否能够实现进化优化算法。虽然之前的工作只关注基于语言的任务规范，但我们继续关注LLM在black-box优化中的零样本应用。我们引入了一种新的提示策略，包括对离散群体成员进行最小到最大排序，并查询LLM，以提出对平均统计量的改进，即执行一种黑匣子重组操作。从经验上讲，我们发现我们的设置允许用户获得基于LLM的进化策略，我们称之为“EvoLLM”，该策略在合成BBOB函数和小型神经进化任务上稳健地优于随机搜索和高斯爬山等基线算法。因此，LLM可以充当“插入式”的上下文重组运算符。我们对LLM的模型规模、提示策略和上下文构建进行了几项比较研究。最后，我们证明了通过对先前收集的教师优化进行指令微调来提供教师算法信息，可以灵活地提高EvoLLM的性能轨迹。

1 引言

2 相关工作

3 背景

4 将LLMS转化为ES算法

5 LLMS作为零样本进化策略

6 EVOLLM消融研究

7 EVOLLM与教师微调

8 讨论