Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs

UnknownBody

于 2024-05-08 10:45:45 发布

阅读量240

点赞数

CC 4.0 BY-SA版权

分类专栏： LLM Daily LLM Alignment 文章标签：语言模型自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138560812

LLM Daily 同时被 2 个专栏收录

1355 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM Alignment

44 篇文章

订阅专栏

本文探讨在大型语言模型（LLM）中，如何利用强化学习（RLHF）从人类反馈进行优化。研究发现，尽管PPO在RLHF中被广泛应用，但其高计算成本和超参数敏感性限制了效率。通过简化方法，作者提出使用增强型优化变体，如朴素策略梯度（Naive PG），在RLHF背景下表现优于PPO和其他无RL方法。实验结果支持了这种方法，显示REINFORCE估计器在奖励优化方面具有高效率，而RLOO作为一种多样本扩展，优于RAFT、DPO和PPO，同时保持高鲁棒性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs》的翻译。

摘要

从人类反馈中强化学习（RLHF）形式的人工智能对齐越来越被视为高性能大型语言模型的关键组成部分。最近的文献将近端策略优化（PPO）定位为RLHF RL部分的规范方法。然而，它涉及高计算成本和敏感的超参数调整。我们假设，导致PPO发展的大多数动机原则在RLHF中不太受实际关注，并主张使用一种计算成本较低的方法来保持甚至提高性能。我们重新审视了RL背景下人类偏好的对齐公式。保持简单性作为指导原则，我们表明在RLHF背景下，PPO的许多组成部分是不必要的，而且更简单的增强型优化变体优于PPO和新提出的“无RL”方法，如DPO和RAFT。我们的工作表明，对LLM对齐特性的仔细调整能够以低成本受益于在线RL优化。