AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback

本文是LLM系列文章，针对《》的翻译。

摘要

像ChatGPT这样的大型语言模型由于能够很好地遵循用户指令而被广泛采用。开发这些LLM涉及一个复杂但鲜为人知的工作流程，需要通过人工反馈进行训练。复制和理解此指令跟随过程面临三大挑战：数据收集成本高、缺乏可靠的评估以及缺乏参考方法实现。我们通过AlpacaFarm解决了这些挑战，该模拟器能够以低成本进行研究和开发，从反馈中学习。首先，我们设计LLM提示来模拟人类的反馈，它比众包工作者便宜45倍，并显示出与人类的高度一致性。其次，我们提出了一种自动评估，并根据在现实世界交互中获得的人类指令对其进行验证。第三，我们为从成对反馈中学习的几种方法（PPO、最佳n、专家迭代等）提供了参考实现。最后，作为AlpacaFarm的端到端验证，我们在10k对真实人类反馈上训练和评估了11个模型，并表明在AlpacaFarm中训练的模型排名与在人类数据上训练的模型的排名相匹配。作为对AlpacaFarm可能进行的研究的证明，我们发现使用奖励模型的方法可以显著改善过度监督的微调，并且我们的参考PPO实施导致对Davinci003的胜率提高+10%。

1 引言

2 背景与问题描述

3 构造AlpacaFarm

4 验证AlpacaFarm模拟器

5 AlpacaFarm的基准参考方法

6 相关工作