Imitating Language via Scalable Inverse Reinforcement Learning

本文是LLM系列文章，针对《Imitating Language via Scalable Inverse Reinforcement Learning》的翻译。

摘要

大多数语言模型训练都建立在模仿学习的基础上。它涵盖了预训练、监督微调，并影响了从人类反馈进行强化学习 （RLHF） 的起始条件。用于下一个token预测的最大似然估计 （MLE） 的简单性和可扩展性使其成为主导范式。然而，更广泛的模仿学习领域可以更有效地利用自回归生成的基础顺序结构。我们专注于研究逆向强化学习 （IRL） 对模仿的看法，提取奖励并直接优化序列而不是单个token的可能性，并评估其对微调大型语言模型的好处。我们提供了一个新角度，将逆软 Q 学习重新表述为 MLE 的时间差异正则化扩展。这在 MLE 和 IRL 之间建立了原则性的联系，并允许在监督微调 （SFT） 设置中权衡增加的复杂性与提高性能和生成多样性。我们发现了基于 IRL 的模仿的明显优势，特别是对于在最大化任务性能的同时保留多样性，即使没有在线数据生成，IRL 也成为固定 SFT 数据集上的强大替代品。我们对 IRL 提取的奖励函数的分析进一步表明，通过更紧密地集成监督和基于偏好的 LLM 后，奖励函数可以更强大。

1 引言

2 方法

3 实验

4 相关工作

5 讨论

6 结论

本文详细研究了 IRL 算法在语言模型调整中的模仿潜力，重点关注性能、多样性和计算要求。我们引入了 IQLearn 的重新表述，它可以在稳健、标准监督微调和更有效的 IRL 算法之间进行有原则的插值。我