Improving Large Language Models via Fine-grained Reinforcement Learning

本文是LLM系列文章，针对《Improving Large Language Models via Fine-grained Reinforcement
Learning with Minimum Editing Constraint》的翻译。

摘要

强化学习（RL）已被广泛用于训练大型语言模型（LLM），以防止意外输出，例如减少危害性和错误。然而，现有的RL方法大多采用实例级奖励，无法对复杂的推理任务提供细粒度的监督，也无法关注导致错误的少数关键token。为了解决这一问题，我们提出了一种新的RL方法，称为RLMEC，该方法结合了一个生成模型作为奖励模型，该模型由错误解重写任务在最小编辑约束下进行训练，并可以为RL训练产生token级奖励。基于生成奖励模型，我们设计了用于训练的token级RL目标和用于稳定RL过程的基于模仿的正则化。这两个目标都集中在学习错误解决方案的关键token上，减少其他不重要token的影响。数学任务和问答任务的实验结果证明了该方法的有效性。我们的代码和数据在https://github.com/RUCAIBox/RLMEC上可用。

1 引言

2 相关工作

3 前言

4 方法

5 实验

6 结论

在本文中，我们提出了RLMEC，这是一种具有最小编辑约束的新的强化学习框架，以利用细粒度的监督信号来进一步提高LLM的能力。在我们的RLMEC中，我们首先在教师LLM的帮助下，通过最小编辑约束下的错误解重写任务来训练生成奖励模型。然后，我们利用它来产生token级奖励，并设计了toke