RLHF Workflow: From Reward Modeling to Online RLHF

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量392

点赞数

CC 4.0 BY-SA版权

分类专栏： LLM Daily LLM RL 文章标签：语言模型人工智能

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139114426

LLM Daily 同时被 2 个专栏收录

1691 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM RL

59 篇文章

订阅专栏

本文详述了在线迭代RLHF（强化学习与人类反馈）的工作流程，使用开源数据集构建偏好模型来近似人类反馈。通过这种方法，训练出的SFR-Iterative-DPO-LLaMA-3-8B-R模型在多种基准测试中表现出色。报告探讨了奖励模型、策略优化和模型评估，同时指出了未来改进的潜在方向，包括优化偏好信号建模、探索策略和缓解长度偏差问题。

本文是LLM系列文章，针对《RLHF Workflow: From Reward Modeling to Online RLHF》的翻译。

摘要

我们在本技术报告中介绍了从人类反馈中进行在线迭代强化学习（RLHF）的工作流程，在最近的大型语言模型（LLM）文献中，该技术被广泛报道为大大优于离线学习。然而，现有的开源RLHF项目在很大程度上仍然局限于离线学习环境。在本技术报告中，我们旨在填补这一空白，并提供一个易于复制的在线迭代RLHF的详细脚本。特别是，由于在线人类反馈对于资源有限的开源社区来说通常是不可行的，我们首先使用一组不同的开源数据集构建偏好模型，并使用构建的代理偏好模型来近似人类反馈。然后，我们讨论了在线迭代RLHF背后的理论见解和算法原理，然后给出了详细的实际实现。我们训练有素的LLM，SFR-Iterative-DPO-LLaMA-3-8B-R，在LLM聊天机器人基准测试上取得了令人印象深刻的性能，包括AlpacaEval-2、Arena Hard和MT Bench，以及其他学术基准测试，如HumanEval和TruthfulQA。我们已经证明，监督微调（SFT）和迭代RLHF可以通过完全开源的数据集获得最先进的性能。此外，我们还公开了我们的模型、精心策划的数据集和全面的分步代码指南。请参阅https://github.com/RLHFlow/RLHF-Reward-Modeling和https://github.com/RLHFlow/O