Self-Rewarding Language Models

本文是LLM系列文章，针对《Self-Rewarding Language Models》的翻译。

摘要

我们假设，为了实现超人代理，未来的模型需要超人反馈，以便提供足够的训练信号。目前的方法通常根据人类的偏好来训练奖励模型，这可能会受到人类表现水平的限制，其次，这些单独的冻结奖励模型在LLM训练过程中无法学习改进。在这项工作中，我们研究了自我奖励语言模型，其中语言模型本身通过LLM-as-a-Juage提示在训练期间提供自己的奖励。我们证明，在迭代DPO训练中，不仅指令跟随能力得到了提高，而且为自己提供高质量奖励的能力也得到了提高。在我们的方法的三次迭代中对Llama 2 70B进行微调，得出的模型优于AlpacaEval 2.0排行榜上的许多现有系统，包括Claude 2、Gemini Pro和GPT-4 0613。虽然这只是一项初步研究，但这项工作为可以在两个轴上不断改进的模型打开了大门。

1 引言

2 自我奖励语言模型

3 实验

4 相关工作

5 结论

我们引入了自我奖励语言模型，这些模型能够通过对自己的生成进行判断和训练来进行自我调整。该方法以迭代的方式进行训练，在每次迭代中，模型都会创建自己的基于偏好的指令训练数据。这是通过LLM-as-a-Juage提示将奖励分配给自己的生成，并使用迭代DPO对偏好进行训练来实现的。我们表明，这种训练既提高了模型的指令跟随能力，也提高了其在迭代中的奖励建模能力。虽然这只是一项初步研究，但我们相信这是一条令人兴奋的研究途径，因为这意味着该模型能够在未来的迭代中更好地