Reinforcement Learning in the Era of LLMs: What is Essential? What is needed？

本文是LLM系列文章，针对《Reinforcement Learning in the Era of LLMs: What is Essential? What is needed? An RL Perspective on RLHF, Prompting, and Beyond.》的翻译。

摘要

大型语言模型（LLM）的最新进展引起了广泛关注，并导致了诸如ChatGPT和GPT-4之类的成功产品。他们在遵守指令和提供无害、有用和诚实的（3H）反应方面的熟练程度在很大程度上可以归功于从人类反馈中强化学习（RLHF）技术。在本文中，我们的目的是将传统RL的研究与LLM研究中使用的RL技术联系起来。通过讨论RL为什么、何时以及如何表现出色来揭开这项技术的神秘面纱。此外，我们探索了可能从RLHF研究中受益或有助于RLHF研究的潜在未来途径。
突出显示的要点：
1.RLHF是具有离线演示数据的在线反向RL。
2.RLHF>SFT，因为模仿学习（和反向RL）>行为克隆（BC）通过减轻复合误差的问题。
3.RLHF中的RM步骤生成昂贵的人类反馈的代理，这种见解可以推广到其他LLM任务，例如提示评估和优化，其中反馈也是昂贵的。
4.RLHF中的策略学习比IRL中研究的传统问题更具挑战性，因为它们具有高的行动维度和反馈稀疏性。
5.与基于非策略值的方法相比，PPO的主要优势在于其稳定性来自（几乎）基于策略的数据和保守的策略更新。

1 RL简介：在线RL、离线RL和反向RL

2 RLHF：用