Training Agents with Weakly Supervised Feedback from Large Language Models

本文是LLM系列文章，针对《Training Agents with Weakly Supervised Feedback from Large Language Models》的翻译。

摘要

大型语言模型（LLM）为创建能够通过迭代环境交互处理复杂任务的代理提供了一个有前途的基础。现有的方法要么要求这些代理模仿专家提供的轨迹，要么依赖明确的环境反馈进行强化学习，这限制了它们在游戏或代码生成等特定场景的应用。本文介绍了一种基于 LLM 的代理的新颖训练方法，使用来自批评者 LLM 的弱监督信号，绕过了对专家轨迹或明确反馈的需要。我们的智能体以迭代方式进行训练，最初通过环境交互生成轨迹。随后，批评家 LLM 选择良好轨迹的子集，然后将其用于更新代理，使它们能够在下一次迭代中生成改进的轨迹。对 API-bank 数据集的广泛测试表明，尽管我们使用参数较少的开源模型，但我们的代理能力持续改进，并且性能与 GPT-4 相当。

1 引言

2 方法

3 实验

4 结论

总之，本文提出了一种新颖的框架，可以实现智能体的迭代自我进化，减少对专家设计的轨迹或决定性环境反馈的依赖。我们的方法利用批评家大语言模型（