文献阅读：RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback

最新推荐文章于 2025-06-15 11:30:21 发布
原创 最新推荐文章于 2025-06-15 11:30:21 发布 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#RLAIF #LLM #RLHF #强化学习 #大模型

本文解读Google发表的文章，探讨将RLHF中人工标注替换为LLM自动标注得到的RLAIF。实验表明，RLAIF效果不输RLHF，且能更快速达到较好水平，但提升有瓶颈。还考察了Prompt、Self - Consistency等因素对模型效果的影响。

1. 文章简介

这篇文章是Google在今年9月发表的一篇文章，顾名思义，其核心的idea就是将RLHF当中的human部分直接替换为AI，直接用LLM的Feedback来finetune模型，考察其得到的模型效果。

结论而言其得到的模型效果有了不输RLHF后的模型效果，证明了上述策略的可行性。

怎么说呢，这个结论多少有些情理之中又有些意料之外……

情理之中是在于说已经有多个实验证明了LLM在标注任务上的效果不弱于人类，甚至比人类有着更稳定的标注效果，因此用LLM来替代人类的标注有其一定的道理。

另一方面，意料之外则是因为LLM毕竟还是模型，用模型自己来finetune模型总觉得会引入bias，在其本身的训练feature没有获得增加的情况下，对于模型效果的最终提升来说总觉得有些不可靠……

不过，anyway，还是让我们言归正传，来看看文中到底是做了怎么样的实验以及得出了怎么样的结论吧。

2. 方法介绍

1. 整体方法说明

首先，我们给出RLHF与RLAIF的完整pipeline示意图如下：

在这里插入图片描述

可以看到，整体来说，RLHF和RLAIF唯一的区别就是将RM模型所需的标注从人工换成了另一个LLM的自动标注结果。

下面，我们来看一下其中具体的细节实现。

对于一个标准的RLHF过程，可以拆解为以下三部分的内容：

  1. Supervised finetuned Model (SFT)

  2. RM model

    使用人工标注结果训练一个二分类模型：

    L = − E ( x , y w , y l ) ∼ D [ l o g σ ( r ϕ ( x , y w ) − r ϕ ( x , y l ) ) ] L = -\mathop{E}\limits_{(x, y_w, y_l) \sim D} [\mathop{log}\sigma(r_{\phi}(x, y_w) - r_{\phi}(x, y_l))] L=−(x,y

最低0.47元/天 解锁文章
RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
c_cpp_csharp的专栏
09-04 646
从人类反馈中强化学习（RLHF）可以有效地将大型语言模型（LLM）与人类偏好相匹配，但收集高质量的人类偏好标签是一个关键瓶颈。我们对人工智能反馈（RLAIF）中的RLHF与RL进行了正面比较，这是一种由现成的LLM代替人类标记偏好的技术，我们发现它们也带来了类似的改进。在总结任务中，在约70%的情况下，人类评估者更喜欢RLAIF和RLHF的生成，而不是基线监督的微调模型。此外，当被要求对RLAIF和RLHF摘要进行评分时，人类更喜欢两者的评分相同。
RLAIF：什么是基于人工智能反馈的强化学习？
最新发布
xiaoshun007的专栏
11-08 26
最后，在强化学习循环中，强化学习模型（RL模型）从奖励模型接收奖励，该模型基于人类反馈（RLHF）或人工智能反馈（RLAIF）进行训练。因此，确保反馈模型与人类的价值观和偏好相符是一项至关重要的挑战，因为反馈模型中的任何偏差或不匹配都可能导致意想不到的后果或智能体出现次优行为。因此，严格的评估指标对于评估反馈模型生成的人工智能反馈的质量和一致性至关重要，从而确保其可靠性和有效性。智能体（基础LLM）与环境交互，其输出由偏好模型评估，该模型根据动作与反馈模型中编码的期望偏好的匹配程度来分配奖励。
RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback翻译
nopSled
09-24 1074
基于人类反馈的强化学习 (RLHF) 可以有效地将大型语言模型 (LLM) 与人类偏好保持一致，但收集高质量的人类偏好标签是一个关键瓶颈。我们对 RLHF 与来自 AI 反馈 (RLAIF) 的 RL 进行了正面的比较，RLAIF是一种由现有的LLM代替人类来标记偏好的技术，我们发现它们会带来类似的改进。在摘要任务中，约 70% 的情况下，人类评估者更喜欢使用 RLAIF 和 RLHF 生成，而不是基线的有监督微调模型。此外，当被要求对 RLAIF 与 RLHF 总结进行评分时，人们对两者的偏好程度相同。
【RLHF】RLAIF（ Scaling Reinforcement Learning from Human Feedback with AI Feedback）：利用人工智能生成偏好标签来训练奖励模
彬彬侠的博客
06-15 1078
RLAIF 是一种通过使用现成的（off-the-shelf）大语言模型生成偏好标签来训练奖励模型（Reward Model, RM），并利用该奖励模型进行强化学习，从而优化语言模型输出的方法。相比 RLHF 依赖人类标注的高质量偏好数据，RLAIF 利用 AI 模型（如 PaLM 2、ChatGPT 等）生成偏好标签，显著降低了数据收集的成本和时间。
RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback（利用人工智能从人类反馈中扩展强化学习反馈）
NextStation_的博客
09-20 580
问题：基于人类反馈的强化学习(RLHF)通过收集人类反馈，以强化学习方法训练LLM，可以更好地理解人类偏好。然而，这个方法有一个很大的问题：收集高质量的人类反馈非常困难和耗时。解决：RLAIF是指使用LLM来代替人类标记偏好，基于这些标记数据训练奖励模型，然后进行RL微调。在这项工作中，我们直接将RLAIF与RLHF在摘要任务上进行了比较。给定一个文本和两个候选回答，我们使用现成的LLM分配一个偏好标签。然后，我们在具有对比损失的LLM偏好上训练奖励模型（RM）。
RLHF（Reinforcement Learning from Human Feedback）: 使 AI 更贴近人类价值
llm_way的博客
11-29 1276
在人工智能（AI）日新月异的今天，我们见证了AI从简单的计算工具逐渐发展成为能够理解复杂指令、生成创造性内容的智能体（然而，随着AI的广泛应用，一个关键问题逐渐浮出水面：AI的输出能否真正体现人类的价值观，其行为能否与人类的期望保持一致？强化学习从人类反馈（RLHF）作为一种有前途的方法，为使 AI 系统更贴近人类价值提供了可能。今天我们一起了解一下 RLHF。
【ChatGPT】从人类反馈 (RLHF) 中进行强化学习 | Illustrating Reinforcement Learning from Human Feedback (RLHF)
热门推荐
AI天才研究院
04-07 2万+
OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮，它面对多种多样的问题对答如流，似乎已经打破了机器和人的边界。这一工作的背后是大型语言模型 (Large Language Model，LLM) 生成领域的新训练范式：RLHF (Reinforcement Learning from Human Feedback) ，即以强化学习方式依据人类反馈优化语言模型。过去几年里各种 LLM 根据人类输入提示 (prompt) 生成多样化文本的能力令人印象深刻。
Continuous control with deep reinforcement learning (DDPG强化学习) 论文翻译
weixin_43590290的博客
08-28 5180
分布式数据融合架构信息共享策略评估 Continuous control with deep reinforcement learning Timothy P. Lillicrap, Jonathan J. Hunt, Alexander Pritzel, Nicolas Heess, Tom Erez,Yuval Tassa, David Silver & Daan Wierstra...
RLHF,Reinforcement Learning from Human Feedback
AI生成式技术曾小健
06-02 338
虽然比损失函数本身更适合衡量性能，但这些指标只是简单地将生成的文本与具有简单规则的引用进行比较，因此也有局限性。RLHF 使语言模型能够开始将在一般文本数据语料库上训练的模型与复杂人类价值观的模型对齐。有许多应用程序，例如编写您需要创意的故事、应该真实的信息性文本片段，或者我们希望可执行的代码片段。从人类反馈中强化学习（也称为来自人类偏好的 RL）是一个具有挑战性的概念，因为它涉及多模型训练过程和不同的部署阶段。这些都是我所说的昂贵的增强数据的来源，但这不是理解 RLHF 所必需的技术。
书生·浦语大模型实战营之手把手带你评测 Llama 3 能力（OpenCompass 版）
大模型与Agent智能体
05-07 1466
书生·浦语大模型实战营之手把手带你评测 Llama 3 能力（OpenCompass 版） 运行结果为： ✨下载 Llama3 模型通过 OpenXLab 下载 Llama-3-8B-Instruct 这个模型 或者软链接 InternStudio 中的模型 🛠️安装 OpenCompass 运行结果为：📂 数据准备 运行结果为： 数据集共85个目录，1062个文件。 查询Llama 的配置文件路径 🏗️命令行快速评测 以C-Eval_gen为例： 命令解析： 查询gpu情况，设置export CU
大规模语言模型人类反馈对齐--RLAIF
Hanscal
10-17 554
这个 AI 标注的偏好是研究人员使用PaLM 2L 生成的， 然后在完整的偏好上训练 RM 数据集， 训练reward 模型 rϕ 的损失如下所示， yw 和 yl 分别代表人类偏好的和非偏好的回复。此外， 还有一些有趣的问题值得研究， 例如 RLHF 与 RLAIF 相结合是否可以优于单一的一种方法， 使用 LLM 直接分配奖励的效果如何， 改进 AI 标注器对齐是否会转化为改进的最终策略， 以及是否使用 LLM 与策略模型大小相同的标注器可以进一步改进策略(即模型是否可以“自我改进”)。
RLAIF细节分享&个人想法
强化学习曾小健
09-20 791
当笔者首次在arxiv上发现RLAIF在之前的项目中，笔者曾使用开源数据进行了一系列的强化学习实验，并验证了RL算法确实有一定的提升。然而，当项目进入实际应用阶段，我们常常面临一个问题：缺乏足够的人力进行数据标注。这不仅增加了项目的复杂性，还使得我们很难尝试如PPO、DPO等先进算法。漫长反复的人力标注过程也是一个不容忽视的挑战。RLAIF（基于AI反馈的强化学习）切好解决了这些困难，这也是让我重新研读这篇文章的原因。收集高质量人类偏好标签的瓶颈问题。
RLAIF：一个不依赖人工的RLHF替代方案
zenRRan的博客
09-08 1398
深度学习自然语言处理 原创作者：WinnieLLM可以标记人类偏好数据，用于强化学习吗？尽管之前有一些类似的研究，但从没有人系统地对比RLHF和RLAIF的性能。今天，我们为大家带来一项Google最新的研究，来看看LLM是否懂得人类的偏好。Paper: RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedba...
【论文解读】RLAIF基于人工智能反馈的强化学习
INTSIG的博客
10-27 1446
此外，前文指出，少量的例子可能足以训练一个强大的RM（例如，在O（1k）的顺序上），进一步降低了使用一个更大的标记器模型的成本。虽然最近的许多工作使用近端策略优化（PPO）—一种类似的方法，增加了一些技术，使训练更加保守和稳定（例如，裁剪目标函数），论文使用A2C，因为它更简单，但仍然有效的解决论文的问题。对于一个单一的例子，它是通过将一个软ai标记的偏好转换为一个二进制表示（例如，preferencei= [0.6,0.4]→[1,0]）来计算的，如果标签与目标人类偏好一致，则分配一个1，否则为0。
大语言模型微调过程中的 RLHF 和 RLAIF 有什么区别？
学以致用 知行合一
04-23 2048
在 RLHF 和 RLAIF 之间进行选择时，不存在一刀切的解决方案。选择取决于各种因素，例如业务目标、目标受众人口统计、语言要求和预算限制。如果您的主要目标是保持所有内容资产的一致性和质量，RLHF 可能是理想的选择。但是，如果您的目标是多元化的全球市场，并且需要使您的内容适应当地语言和文化，RLAIF 可以提供您所需的灵活性和定制功能。考虑解决方案的可扩展性及其与现有内容管理系统和工作流程的兼容性。RLHF可能更适合语言要求标准化的大规模内容运营，而RLAIF则在全球整合和多语言支持方面表现出色。
LLM的范式转移：RL带来新的 Scaling Law
2401_85379281的博客
09-02 1609
本文正是在这样的背景下分析和思考 RL 会如何给 LLM 带来新一波的智能提升，以及这对我们未来投资、创业有着怎么样的 implication。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值