RLHF（Reinforcement Learning from Human Feedback）: 使 AI 更贴近人类价值

最新推荐文章于 2025-10-24 11:09:50 发布
原创 最新推荐文章于 2025-10-24 11:09:50 发布 · 1.2k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #语言模型 #深度学习 #机器学习

在人工智能（AI）日新月异的今天，我们见证了AI从简单的计算工具逐渐发展成为能够理解复杂指令、生成创造性内容的智能体（Multi-Agent架构：探索AI协作的新纪元）。然而，随着AI的广泛应用，一个关键问题逐渐浮出水面：AI的输出能否真正体现人类的价值观，其行为能否与人类的期望保持一致？强化学习（OpenAI o1背后的技术：强化学习）从人类反馈（RLHF）作为一种有前途的方法，为使 AI 系统更贴近人类价值提供了可能。今天我们一起了解一下 RLHF。

图片

一、RLH

最低0.47元/天 解锁文章
RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
c_cpp_csharp的专栏
09-04 638
从人类反馈中强化学习（RLHF）可以有效地将大型语言模型（LLM）与人类偏好相匹配，但收集高质量的人类偏好标签是一个关键瓶颈。我们对人工智能反馈（RLAIF）中的RLHF与RL进行了正面比较，这是一种由现成的LLM代替人类标记偏好的技术，我们发现它们也带来了类似的改进。在总结任务中，在约70%的情况下，人类评估者更喜欢RLAIF和RLHF的生成，而不是基线监督的微调模型。此外，当被要求对RLAIF和RLHF摘要进行评分时，人类更喜欢两者的评分相同。
『大模型笔记』人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
AI新视界
08-09 882
人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback（利用人工智能从人类反馈中扩展强化学习反馈）
NextStation_的博客
09-20 572
问题：基于人类反馈的强化学习(RLHF)通过收集人类反馈，以强化学习方法训练LLM，可以更好地理解人类偏好。然而，这个方法有一个很大的问题：收集高质量的人类反馈非常困难和耗时。解决：RLAIF是指使用LLM来代替人类标记偏好，基于这些标记数据训练奖励模型，然后进行RL微调。在这项工作中，我们直接将RLAIF与RLHF在摘要任务上进行了比较。给定一个文本和两个候选回答，我们使用现成的LLM分配一个偏好标签。然后，我们在具有对比损失的LLM偏好上训练奖励模型（RM）。
【学习收藏】RLHF技术深度解析：大模型训练与安全对齐的核心
最新发布
kaka0722ww的博客
10-24 1321
RLHF，英文全称为Reinforcement Learning from Human Feedback，直译过来就是从人类反馈中进行强化学习，（RLHF）是一种机器学习（ML）技术，它利用了人类反馈来优化 ML 模型，从而更有效地进行自我学习。强化学习技术可训练软件做出可最大限度地提高回报的决策，使其结果更加准确。RLHF 将人类反馈纳入奖励功能，因此大模型可以执行更符合人类目标、愿望和需求的任务。RLHF 广泛应用于生成式人工智能，包括大型语言模型等。
LLMs: 强化学习从人类反馈中学习Reinforcement learning from human feedback (RLHF)
AI架构师易筋
09-29 1190
让我们考虑一下文本摘要的任务， 即使用模型生成一段简短的文本，捕捉 较长的文章中最重要的观点。您的目标是通过向模型 展示人工生成的摘要示例，使用微调来提高模型的总结能力。2020年，OpenAI的研究人员发表了一篇论文，探讨了使用 人工反馈进行微调来训练模型撰写文本文章的简短摘要。在这里，你可以看到，与 预训练模型、 指令微调模型甚至参考人类基线相比，根据人类反馈进行微调的模型产生的响应效果更好。
RLHF理解篇
宁少的博客
04-08 1921
左：输入（Image/text）,通过计算预测值和真实标签值之间的损失更新模型右：环境（数据），agent（模型）在环境产生某个动作（预测值），从而获得奖励模型的打分，通过最大化打分更新agent（模型），从而再次回到环境产生新一轮的动作。基本概念还是解释一下一些概念，从NLP的角度举一些例子。首先是RL中的Policy，State，Action。接下来介绍Reward，Return，Q，V。PS：这里要注意区分价值和奖励：价值是未来累计奖励的期望。奖励是我们做出该动作后立即获取的收益。
LLM中的RLHF（原理篇）
m0_59235945的博客
09-25 1141
大模型训练三步走，pre-training、SFT、RLHF。今天来到了第三步，即基于人工反馈的强化学习（Reinforcement learning from human feedback）。对于NLP从业者来说，前两步还是比较熟悉的，无非是模型大点、数据多些，但是整个模型的架构、原理和一些tricks还是比较容易理解的。但是对于RLHF，因为其中涉及到了强化学习，所以对于没有接触过强化学习的，理解起来还是比较困难的。下面我们就从NLPer的视角，理解RLHF的原理。
强化学习与人类反馈（Reinforcement Learning from Human Feedback, RLHF）
Rhett_Butler0922的博客
05-01 1112
即如何确保AI系统的行为与人类的目标和价值观一致。RLHF作为一种解决方案，最早由OpenAI提出，旨在通过人类反馈引导模型优化，解决对齐问题。RLHF是一种结合人类反馈和强化学习的强大技术，广泛应用于大语言模型的对齐和优化。其核心流程包括预训练、人类反馈、奖励建模和PPO优化，数学基础涉及强化学习、Bradley-Terry模型和KL散度正则化。强化学习的目标是优化一个智能体，使其通过与环境交互最大化累积奖励。RLHF的实现可以分为四个主要阶段，每个阶段都有其独特的目标和技术细节。，使期望奖励最大化。
【LLM】RLHF机制（Reinforcement Learning from Human Feedback）
发现问题，并解决问题，批判性思维
07-11 2166
RLHF分为三个步骤 我做你看：有监督学习，从训练集中挑出一批prompt，人工对prompt写答案 你做我看：奖励模型训练，这次不人工写答案了，而是让GPT3给出几个候选答案，人工对其质量排序，Reward model学习一个打分器；这个让机器学习人类偏好的过程就是【对齐】，但可能会导致胡说八道，可以通过KL Divergence等方法解决。instructGPT中奖励模型的损失函数如下，其中 rθ(x,y) 是奖励模型对提示x和完成y的标量输出，具有参数θ，
论文阅读：2023 ICLR Safe RLHF: Safe Reinforcement Learning from Human Feedback
CSPhD-winston的博客
04-18 1044
这篇论文叫《SAFE RLHF: SAFE REINFORCEMENT LEARNING FROM HUMAN FEEDBACK》，主要是说随着大语言模型（LLMs）发展，要平衡模型性能和安全性，提出了Safe RLHF算法来解决相关问题。下面从背景、方法、实验等方面，用通俗的话来讲讲具体内容。
RLHF微调：从原理到实践的全面指南
AI天才研究院
03-01 1774
1. 背景介绍 1.1 什么是微调 微调（Fine-tuning）是一种迁移学习技术，通过在预训练模型的基础上进行微调，使模型能够适应新的任务。这种方法在计算机视觉、自然语言处理等领域取得了显著的成果。本文将介绍一种名为RLHF（Reinforcement Learning with Hindsight
基于人类反馈的强化学习（RLHF）入门指南
安静的软件工程师
03-08 2024
基于人类反馈的强化学习（RLHF）入门指南
RLHF中的PPO算法原理及其实现
夏栀的博客
05-22 6575
ChatGPT是基于InstructGPT实现的多轮对话生成式大模型。博主在之前的文章中已经介绍过关于）以及关于。那么除了如何训练一个基本的生成式模型外，大模型还需要关注于。在之前的文章中已经介绍了ChatGPT以及最近开源的一些类ChatGPT模型是如何实现对齐的，这里我们也详细介绍一下InstructGPT中进行人类对齐的核心算法——RLHF（人类对齐的强化学习）PPO算法。
一文彻底搞懂大模型 - 基于人类反馈的强化学习（RLHF）
m0_59164520的博客
10-08 5194
随着大型语言模型（LLM）的快速发展，如何使这些模型更好地理解和满足人类的需求成为了一个关键问题。传统的训练方法往往依赖于大规模的语料库和基于规则的损失函数，但这在处理复杂、主观和依赖上下文的任务时存在局限性。因此，基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）应运而生，为模型的训练提供了一种新的思路。RLHF一、RLHF的框架什么是RLHF？基于人类反馈的强化学习（Reinforcement Learning from Human
什么是RLHF
盖瑞理的智汇说
05-11 1万+
*字面翻译：**RLHF (Reinforcement Learning from Human Feedback) ，即以强化学习方式依据人类反馈优化语言模型。强化学习从人类反馈（RLHF）是一种先进的AI系统训练方法，它将强化学习与人类反馈相结合。它是一种通过将人类训练师的智慧和经验纳入模型训练过程中，创建更健壮的学习过程的方法。该技术涉及使用人类反馈创建奖励信号，然后通过强化学习来改善模型的行为。
一文读懂「RLHF」基于人类反馈的进行强化学习
热门推荐
女王の专属领地
01-18 4万+
RLHF就是基于人类反馈（Human Feedback）对语言模型进行强化学习（Reinforcement Learning），和一般的fine-tune过程乃至prompt tuning自然也不同。多种策略产生样本并收集人类反馈训练奖励模型训练强化学习策略，微调 LM首先需要一个预训练语言模型，通过大量的语料去训练出基础模型，对于ChatGPT来说就是GPT-3。还有一个可选的Human Augmented Text,又叫Fine-tune。
DeepSpeed-Chat训练模型
whaosoft143ai的博客
08-28 291
Reward Model相较于原始的SFT Model，在后面加上了一个value head，value head是一个Linear，输入维度为模型的hidden_dim，输出维度为1，输出表示模型预测每一字符获取的得分。举个例子，如果我们模型有「上，下，左，右」四个动作，分别有累计奖励「10，20，30，40」，我们做出任意动作，都会获取正向的累计奖励，因此模型也会向这个动作更新参数。首先的超参的调节，γ参数为折扣回报率，DeepSpeed-Chat中初始设置为1，可以将其调小一些来缓解。whaosoft
文献阅读：RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
codename_cys的博客
10-01 1237
文献阅读：RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
RLHF：基于人类反馈（Human Feedback）对语言模型进行强化学习【Reinforcement Learning from Human Feedback】
u013250861的博客
12-30 1万+
因此，训练阶段，如果直接用人的偏好（或者说人的反馈）来对模型整体的输出结果计算reward或loss，显然是要比上面传统的“给定上下文，预测下一个词”的损失函数合理的多。基于这个思想，便引出了本文要讨论的对象——为了能刻画模型输出的整体质量（而不是单个词），人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度，但这也仅仅是在评价的层面，模型在训练的时候是见不到这些人类真实的偏好的。取得了巨大的成功，诞生了不少有意思的AI应用，例如AI写小说，AI写代码，AI画图甚至AI做视频等。
A SURVEY OF REINFORCEMENT LEARNING FROM HUMAN FEEDBACK
06-13
### 从人类反馈中学习的强化学习综述 强化学习（Reinforcement Learning, RL）是一种通过与环境交互来学习最优策略的方法。然而，传统强化学习方法通常依赖于明确的奖励函数设计，这在许多实际问题中可能难以实现。为了解决这一挑战，从人类反馈中学习的强化学习（Reinforcement Learning with Human Feedback, RLHF）逐渐成为研究热点[^2]。 #### 1. RLHF的核心概念 RLHF的核心思想是通过人类提供的反馈信号来指导智能体的学习过程。这种反馈可以以多种形式存在，例如直接奖励、偏好比较或演示数据。通过将这些反馈整合到强化学习框架中，模型能够更高效地学习复杂的任务，并减少对显式奖励函数的需求[^1]。 #### 2. RLHF的主要机制 RLHF通常包括以下关键步骤： - **反馈收集**：人类提供关于智能体行为的反馈，例如标记“好”或“坏”的动作。 - **奖励建模**：基于人类反馈构建一个奖励函数，用于引导智能体的学习。 - **策略优化**：利用更新后的奖励函数训练智能体的策略网络。 这种方法不仅提高了学习效率，还增强了模型决策的可解释性。 #### 3. 挑战与局限性 尽管RLHF具有显著优势，但也面临一些挑战和潜在风险： - **对抗性输入**：恶意行为者可能通过提供错误反馈干扰学习过程，这种现象被称为“RLHF trolling”[^2]。 - **过拟合与偏见**：如果反馈来自狭窄群体，模型可能会过度拟合特定偏好或表现出偏见[^2]。 - **标注成本**：高质量的人类反馈需要大量时间和资源，增加了实施难度。 #### 4. 替代方法：从AI反馈中学习 为克服上述局限性，研究者提出了从AI反馈中学习（Reinforcement Learning with AI Feedback, RLAIF）的方法。这种方法通过另一个大语言模型评估当前模型的行为，从而部分或完全替代人类反馈。虽然RLAIF仍处于早期阶段，但它为未来的发展提供了新的方向[^2]。 #### 5. 应用场景 RLHF已在多个领域展现出巨大潜力，例如自然语言处理、机器人控制和游戏AI等。特别是在对话系统中，通过结合人类反馈，模型能够生成更符合用户期望的回复。 ```python # 示例代码：基于人类反馈的奖励建模 def reward_modeling(human_feedback): # 假设human_feedback是一个二元标签列表 rewards = [] for feedback in human_feedback: if feedback == "positive": rewards.append(1.0) elif feedback == "negative": rewards.append(-1.0) else: rewards.append(0.0) return rewards ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大模型之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值