Secrets of RLHF in Large Language Models Part I: PPO

本文是LLM系列文章，针对《Secrets of RLHF in Large Language Models Part I: PPO》的翻译。

摘要

大型语言模型（LLM）为通用人工智能的发展制定了蓝图。它的主要目标是作为一个以人为本（乐于助人、诚实无害）的助手。与人类保持一致具有至关重要的意义，人类反馈强化学习（RLHF）成为支撑这一追求的关键技术范式。目前的技术路线通常包括衡量人类偏好的奖励模型、优化政策模型输出的近端策略优化（PPO）以及提高逐步推理能力的过程监督。然而，由于奖励设计、环境交互和代理训练的挑战，再加上大型语言模型的巨大试错成本，人工智能研究人员在激励LLM的技术对齐和安全着陆方面存在重大障碍。RLHF的稳定训练仍然是一个谜。
在第一份报告中，我们剖析了RLHF的框架，重新评估了PPO的内部工作，并探讨了组成PPO算法的部分如何影响策略代理训练。我们确定策略约束是PPO算法有效实现的关键因素。因此，我们探索了PPO算法的高级版本PPO max，以有效地提高策略模型的训练稳定性。基于我们的主要结果，我们与SFT模型和ChatGPT进行了RLHF能力的全面分析。除了额外的定性结果外，我们甚至发现，通过我们的算法成功训练的LLM通常可以更好地理解查询的深层含义，其响应更能直接击中人们的灵魂。
开源实现的缺乏对LLM一致性的调查提出了重大挑战。因此，我们迫切希望发布技术报告、奖励模型和PPO代码，旨在为LLM的发展做出适度贡献。

1 引言

2 相关工作

3 人类反馈的强化学习

4 有益和无害的奖励模型

5 PPO的探索