LLM入门课#05 人类反馈强化学习是啥

最新推荐文章于 2025-05-30 10:56:49 发布
原创 最新推荐文章于 2025-05-30 10:56:49 发布 · 271 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LLM #大模型 #强化学习

LLM入门课#05 人类反馈强化学习是啥

大模型虽然已经呈现出了强大的能力，但是如果不添加管制的话，会导致模型生成一些没有用的或者有害的内容，比如如果你问他如何去黑入别人的wifi，他也会提供给你一个有效的方案。这对吗，这明显是不对的，机器人应该和谐地融入到我们的社会中才可以。

所以，这个时候，RLHF这个技术就出来了，通过这个技术，你可以帮助你的模型更加具有人性化，对不好的答案进行抑制，对好的答案直接加大火力。可以说是强化学习的魅力时刻了。

image-20250323190841814

说到人类反馈强化学习，我们先来说一下正常的强化学习。强化学习指的是，智能体在环境中采取行动，以达到最大化某种累积奖励的目标，从而学习做出与特定目标相关的决策，强调的是模型和环境的交互。

image-20250323191056018

强化学习最典型的是训练你的模型去玩#游戏，下面是一个过程。

image-20250323192119282

同理，将这个过程借鉴到大语言模型上面，我们可以得到这样的一个结果。其中agent是你的llm模型，环境来自于用户指定的任务，状态则是当前的上下文，动作则是通过token的池子给出一个合理的输出，reward则是用来判断模型当前的输出是否和用户希望的输出是一致的，是有毒的还是无毒的。但是，如果你用人工的话那就比较昂贵了，所以这个时候，你使用reward model，简单理解，他可以是一个文本分类的模型，主要是识别出你当前输出的内容是和谐的，还是不和谐的。如果是和谐的内容，就奖励模型，奖励模型就是最大化对应token的概率，如果是不和谐的内容，就惩罚模型，惩罚模型就是奖励对应token的概率。

image-20250323192053923

在医学病理图像生成的任务中， 我们也可以通过奖励模型来定义什么模型是一个好的模型，而什么模型是一个不好的模型，通过这个方式，也可以让我们的模型生成一个更好的病理图像报告的内容，实在是太棒了！

流水后波推前波：ChatGPT基于人类反馈的强化学习
AI天才研究院
09-28 658
流水后波推前波：ChatGPT基于人类反馈的强化学习 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：ChatGPT，人类反馈，强化学习，自然语
强化学习入门:基本概念与应用场景
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
04-14 833
强化学习入门：基本概念与应用场景 1. 背景介绍 强化学习(Reinforcement Learning, RL)是机器学习中的一个重要分支,它研究智能体(agent)如何在一个环境中通过试错学习来获得最大化的回报。与监督学习和无监督学习不同,强化学习是一种"学习型"的
基于人类反馈的强化学习（RLHF）入门指南
安静的软件工程师
03-08 1818
基于人类反馈的强化学习（RLHF）入门指南
您真的了解人类反馈强化学习（RLHF）吗？
qianggezhishen的专栏
08-12 2260
人类反馈强化学习（RLHF）是一种前沿的机器学习技术，致力于提升人工智能模型的性能和可靠性。这项技术通过整合人类的即时反馈，确保AI的输出不仅与人类的价值观和期望相契合，而且还能体现出社会责任感和伦理标准，从而生成既负责任又道德的内容。偏好数据集由提示和语言模型生成的相应响应的对或集合组成，以及基于质量或可取性对这些响应进行排名的人类注释。RLHF这技术真的挺厉害的，它其实就是用我们人类的反馈来教AI怎么变得更聪明。通过这种强化学习的方式，AI就能更好地理解我们，给出的回应也更精准、更有用。
大模型深度解析：基于人类反馈的强化学习（RLHF），超级详细，一文带你彻底理解
最新发布
2401_85375151的博客
05-30 882
随着大型语言模型（LLM）的快速发展， 如何使这些模型更好地理解和满足人类的需求成为了一个关键问题 。传统的训练方法往往依赖于 大规模的语料库和基于规则的损失函数 ，但这在处理复杂、主观和依赖上下文的任务时存在局限性。因此， 基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF） 应运而生，为模型的训练提供了一种新的思路。
基于人类反馈的强化学习(RLHF)[译]
yujianmin1990的专栏
02-24 5249
一篇关于RLHF（Reinforcement Learning from Human Feedback）的，翻过来以飨读者。
浅谈RLHF---人类反馈强化学习
记录个人日常所学所思
07-14 850
通俗理解什么是RLHF
基于人类反馈的强化学习（RLHF）
samoyan的博客,记录技术成长~
12-28 786
例如，在InstructGPT项目中，使用PPO算法训练LM时，会计算LM当前输出与初始输出之间的KL散度作为惩罚项。例如，InstructGPT项目中，标注人员会创造性地编写输入提示（比如，“给出五个重燃职业激情的建议”）和对应的输出，覆盖了开放式问答、创意思考、对话和文本重写等多种创造性任务。值得注意的是，在某些情况下，这一步骤可能不是必需的。以InstructGPT为例，标注人员会将模型生成的输出按照质量从高到低排序，然后基于这些排名训练GPT-3（一个拥有600亿参数的模型）来预测这些排名。
强化学习与人类反馈（Reinforcement Learning from Human Feedback, RLHF）
Rhett_Butler0922的博客
05-01 895
即如何确保AI系统的行为与人类的目标和价值观一致。RLHF作为一种解决方案，最早由OpenAI提出，旨在通过人类反馈引导模型优化，解决对齐问题。RLHF是一种结合人类反馈和强化学习的强大技术，广泛应用于大语言模型的对齐和优化。其核心流程包括预训练、人类反馈、奖励建模和PPO优化，数学基础涉及强化学习、Bradley-Terry模型和KL散度正则化。强化学习的目标是优化一个智能体，使其通过与环境交互最大化累积奖励。RLHF的实现可以分为四个主要阶段，每个阶段都有其独特的目标和技术细节。，使期望奖励最大化。
【从入门到实战】强化学习学习总结与实例详解
Kelaru的博客
04-20 740
5.1 我的学习心得理论与实践相结合：单纯理解强化学习的数学公式是不够的，只有动手实现才能真正理解算法的细节和挑战。例如，在实现CartPole的Q-Learning过程中，如何有效地离散化状态空间是一个需要反复尝试的过程。超参数调优很关键：在DQN实现中，学习率、探索率衰减、批量大小等超参数对算法性能影响巨大。我通常会先用较小的训练轮数做快速实验，找到大致合适的参数范围后再进行完整训练。调试与可视化：强化学习算法调试困难，我发现定期打印关键变量（如Q值、损失函数）和绘制学习曲线非常重要。
一切皆是映射：AI深度强化学习DQN原理入门
AI天才研究院
04-22 179
一切皆是映射：AI深度强化学习DQN原理入门 1. 背景介绍 1.1 强化学习的崛起 在人工智能领域,强化学习(Reinforcement Learning)作为一种全新的机器学习范式,近年来受到了广泛关注和研究。与监督学习和无
RLHF：基于人类反馈（Human Feedback）对语言模型进行强化学习【Reinforcement Learning from Human Feedback】
热门推荐
u013250861的博客
12-30 1万+
因此，训练阶段，如果直接用人的偏好（或者说人的反馈）来对模型整体的输出结果计算reward或loss，显然是要比上面传统的“给定上下文，预测下一个词”的损失函数合理的多。基于这个思想，便引出了本文要讨论的对象——为了能刻画模型输出的整体质量（而不是单个词），人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度，但这也仅仅是在评价的层面，模型在训练的时候是见不到这些人类真实的偏好的。取得了巨大的成功，诞生了不少有意思的AI应用，例如AI写小说，AI写代码，AI画图甚至AI做视频等。
基于人类反馈的强化学习(RLHF) 理论
消极的人永远是对的，积极的人选择勇往直前
05-07 2378
ChatGPT 背后的“功臣”——RLHF 学习笔记
AI 反馈强化学习的工作原理
gongdiwudu的专栏
01-14 3283
AI反馈强化学习（RLAIF）是一种监督技术，它使用“宪法”来使像ChatGPT这样的AI助手更安全。在本指南中了解您需要了解的有关 RLAIF 的所有信息。
人类反馈强化学习（RLHF）详解
百态老人的博客
02-16 901
定义：RLHF（Reinforcement Learning from Human Feedback）是一种结合人类反馈与强化学习的技术，通过人类的偏好、评价或指导优化智能体策略，使其输出更符合人类期望。它尤其适用于难以定义精确奖励函数的任务（如自然语言生成）或需要主观判断的场景。起源：传统强化学习依赖预设的奖励函数，但在复杂任务（如语言生成）中，设计有效的奖励函数困难。
ChatGPT 中的人类反馈强化学习 (RLHF) 实战，看这篇就够了
community_301的博客
05-29 985
根据ChatGPT 官方博客可知，ChatGPT的训练方法与 InstructGPT 的训练方法基本一致 (如图1所示)，只是使用的数据集不一样。在 RLHF 中，ChatGPT 学习通过和人类用户的交互来提高其回答的质量。ChatGPT 会将用户的反馈作为奖励或惩罚信号，以此来更新自己的模型，以更好地满足用户的需求。第二部分采用近端策略优化算法的强化学习阶段，基于奖励模型的反馈来优化模型，最终得到满足人类偏好的语言模型。它是一种基于强化学习的方法，通过结合人类反馈来优化 ChatGPT 的回答。
LLMs: 强化学习从人类反馈中学习Reinforcement learning from human feedback (RLHF)
AI架构师易筋
09-29 1038
让我们考虑一下文本摘要的任务， 即使用模型生成一段简短的文本，捕捉 较长的文章中最重要的观点。您的目标是通过向模型 展示人工生成的摘要示例，使用微调来提高模型的总结能力。2020年，OpenAI的研究人员发表了一篇论文，探讨了使用 人工反馈进行微调来训练模型撰写文本文章的简短摘要。在这里，你可以看到，与 预训练模型、 指令微调模型甚至参考人类基线相比，根据人类反馈进行微调的模型产生的响应效果更好。
『大模型笔记』人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
AI新视界
08-09 725
人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
ICML 2023 | 人类反馈强化学习（RLHF）技术原理与过程
学姐带你玩AI的博客
08-01 1089
关注下方《学姐带你玩AI》🚀🚀🚀回复“RLHF”免费领取完整基教程+讲解视频。
强化学习与LLM
03-21
### 强化学习在大型语言模型中的应用及其实现 强化学习（Reinforcement Learning, RL）是一种通过试错来优化策略的学习范式，在许多领域取得了显著成果。当将其与大型语言模型（LLM）结合时，可以通过奖励机制进一步提升生成文本的质量和特定场景下的适用性。 #### 1. 结合背景 大型语言模型通常基于监督学习进行预训练，其目标是最小化预测下一个词的概率分布误差[^2]。然而，这种单一的目标可能无法满足某些复杂应用场景的需求，例如对话系统中需要考虑上下文连贯性和用户满意度的情况。此时，引入强化学习可以帮助调整模型行为以更好地适应具体任务需求。 #### 2. 实现方式 以下是几种常见的强化学习与LLM结合的方法： - **直接微调法** 使用强化信号作为额外损失项加入到标准交叉熵损失函数中，从而引导模型向期望方向演化。这种方法简单易行但可能会面临数据效率低的问题。 ```python loss = cross_entropy_loss + alpha * reward_signal ``` - **Proximal Policy Optimization (PPO)** PPO 是一种流行的算法框架，适用于连续控制问题以及序列决策过程。对于 LLM 来说，它可以用来更新参数使得生成的内容更加符合人类偏好或者特定业务指标的要求[^1]。 - **Reward Modeling** 构建专门用于评估输出质量的奖励模型，该模型可以根据实际反馈不断改进自身的判断准确性。随后利用此奖励模型指导原生 LLM 的训练流程。 #### 3. 应用实例 一个典型的例子是在聊天机器人开发过程中采用上述技术路径。通过对历史交互记录分析提取有效特征构建初始版本；再借助真实用户的即时评价动态调整回复风格直至达到理想效果为止。 ```python def train_with_rl(model, env, episodes=1000): optimizer = torch.optim.Adam(model.parameters(), lr=1e-5) for episode in range(episodes): state = env.reset() done = False while not done: action_probabilities = model(state) action_distribution = Categorical(action_probabilities) sampled_action = action_distribution.sample().item() next_state, reward, done, _ = env.step(sampled_action) # Update policy using the collected rewards and actions. log_probs = action_distribution.log_prob(torch.tensor([sampled_action])) loss = -log_probs.mean() * reward optimizer.zero_grad() loss.backward() optimizer.step() state = next_state ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

肆十二

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值