Planning In Natural Language Improves LLM Search For Code Generation

本文是LLM系列文章，针对《Planning In Natural Language Improves LLM Search For Code Generation》的翻译。

摘要

虽然扩展训练计算已经导致大型语言模型 (LLM) 的显着改进，但扩展推理计算尚未产生类似的收益。我们假设核心缺失部分是缺乏多样化的 LLM 输出，由于模型重复采样高度相似但不正确的生成，导致搜索效率低下。我们凭经验证明，可以通过搜索用自然语言解决问题的候选计划来缓解这种多样性的缺乏。基于这一见解，我们提出了 PLANSEARCH，这是一种新颖的搜索算法，它在 HumanEval+、MBPP+ 和 LiveCodeBench（竞争性编码的无污染基准）上显示出强大的结果。 PLANSEARCH 生成关于问题的一组不同的观察结果，然后使用这些观察结果来构建解决问题的计划。通过使用自然语言搜索计划而不是直接搜索代码解决方案，与基线搜索方法相比，PLANSEARCH 探索了更加多样化的潜在解决方案。在 Claude 3.5 Sonnet 之上使用 PLANSEARCH 在 LiveCodeBench 上实现了 77.0% 的最先进的 pass@200，优于没有搜索时获得的最佳分数 (pass@1 = 41.4%) 和使用标准重复采样 (pass@ 200 = 60.6%）。最后，我们表明，在所有分析的模型、搜索算法和基准测试中，我们可以准确预测搜索带来的性能增益，作为生成想法的多样性的直接函数。

1 引言

2 相关工作

3 动机