Evolving Code with A Large Language Model

本文是LLM系列文章，针对《Evolving Code with A Large Language Model》的翻译。

摘要

使用大型语言模型（LLM）来进化代码的算法最近出现在遗传编程（GP）领域。我们提出了LLM-GP，一种形式化的基于LLM的进化算法，旨在进化代码。与GP一样，它使用进化算子，但这些算子的设计和实现与GP完全不同，因为它们使用LLM，使用提示和LLM的预训练模式匹配和序列完成能力。我们还提供了LLM GP的演示级变体，并共享其代码。通过解决从形式到实践的各种算法，我们涵盖了设计和LLM的使用注意事项，以及在使用LLM进行遗传编程时出现的科学挑战。

1 引言

2 背景：大语言模型

3 一个一般的LLM_GP算法

4 相关工作

5 一个LLM_GP变量的演示

6 讨论

7 结论和未来工作

本文探讨了使用LLM来进化代码的新颖性。它提供了清晰性：从算法1中出现的是对LLM GP的清晰描述：它是一种解决代码合成的进化算法。和GP一样，它使用一组进化算子。然而，其用于初始化、选择和变化的运算符可以通过提示与LLM接口，这些提示是从作为算法超参数一部分的提示函数返回的。与GP一样，它的进化单位是代码，但与GP使用的允许执行和变异的结构不同，它用代码片段的文本表示代码。从执行的实现和演示中得出的信息是，使用LLM来实现进化运算符会产生新的成本：在运行中，每次提示与LLM交互的时间和提示的成