RLHF 中主流强化学习算法

已于 2025-04-20 22:32:28 修改
阅读量293 收藏 3
点赞数 3
文章标签： 机器学习 人工智能 算法
于 2025-03-20 20:01:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40859560/article/details/146404842
版权

RLHF 中主流强化学习算法的损失函数表达式及对比分析

1. 近端策略优化（PPO）

  • 损失函数：组成：

    • 剪切代理目标（Clip Objective）：限制策略更新幅度，防止剧烈偏移。
    • KL 散度惩罚：约束新策略与参考策略（如 SFT 模型）的偏离程度。
    • 熵奖励：鼓励探索，避免策略过早收敛

特点： 需要同时维护策略模型（Actor）、价值函数模型（Critic）、参考模型（Ref Model）和奖励模型（RM），计算复杂度高，但稳定性强

2. 直接偏好优化（DPO）

  • 核心思想： 通过隐式奖励模型（即策略自身）替代显式奖励模型，直接优化人类偏好数据中的胜率差 
    • <
最低0.47元/天 解锁文章
RLHF的实战经验分享
AI天才研究院
03-03 167
1. 背景介绍 1.1 什么是RLHF RLHF（Reinforcement Learning with Hindsight and Foresight）是一种结合了强化学习、后见之明（Hindsight）和预见之明（Foresight）的算法。它旨在解决强化学习中的稀疏奖励问题，提高学习效率和性能。
大语言模型原理与工程实践：RLHF 算法
AI天才研究院
06-11 812
1. 背景介绍 自然语言处理（NLP）是人工智能领域的一个重要分支，它涉及到计算机对人类语言的理解和生成。在NLP中，语言模型是一个重要的概念，它可以用来预测一个给定的序列的下一个单词或字符。近年来，随着深度学习技术的发展，大型语言模型的性能得到了极大的提升，这些模型可以用来生成自然语言文本、机器翻译、语音识别等任务。 在本文中，我们将
LLM中的RLHF（原理篇）
m0_59235945的博客
09-25 716
大模型训练三步走，pre-training、SFT、RLHF。今天来到了第三步，即基于人工反馈的强化学习（Reinforcement learning from human feedback）。对于NLP从业者来说，前两步还是比较熟悉的，无非是模型大点、数据多些，但是整个模型的架构、原理和一些tricks还是比较容易理解的。但是对于RLHF，因为其中涉及到了强化学习，所以对于没有接触过强化学习的，理解起来还是比较困难的。下面我们就从NLPer的视角，理解RLHF的原理。
RLHF：高效的强化学习算法框架
AI天才研究院
02-24 1145
1. 背景介绍 1.1 强化学习的发展 强化学习（Reinforcement Learning，简称RL）是一种通过与环境交互来学习最优行为策略的机器学习方法。近年来，随着深度学习技术的发展，强化学习在很多领域取得了显著的成果，如AlphaGo、无人驾驶、机器人控制等。然而，强化学习算法的效率和稳定性
强化学习RLHF详解
sjtu_wyy的博客
04-11 1160
RLHF通过将人类偏好融入强化学习框架，显著提升了模型对齐复杂目标的能力，本文描述了RLHF的原理，并给出代码示例
解读ChatGPT中的RLHF
我相信......
05-07 2943
无论是 ChatGPT 还是 GPT-4，它们的核心技术机制之一都是基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）。这是大型语言模型生成领域的新训练范式，即以强化学习方式依据人类反馈优化语言模型。那么，什么是 RLHF 呢？RLHF 背后的基本思想是采用预先训练好的语言模型，并让人们对其输出的结果进行排序。这个输出的排名作为...
RLHF-基于人类反馈的强化学习
ahahayaa的博客
07-11 1058
智能体通过采取行动与环境进行交互，并返回状态和奖励。奖励我们想要优化的目标，状态只是当前时间智能体所处环境的一种表示，智能体使用策略将该状态映射到一个动作。强化学习的精妙之处在于其学习过程是开放式的，所以智能体只通过看到这些奖励信号并学习如何随着时间的推移对获取到的奖励进行优化，而不去关注奖励实际的来源如何。这样可以使得我们构建一个可以解决复杂问题的智能体，这是为什么我们选用强化学习来解决场景对话这样一个开放式问题的原因，而这也是我们开始讨论RLHF(Reinforcement Learning From
大模型入门：RLHF中的PPO算法理解
2401_86154451的博客
07-24 1361
2）在准备好SFT模型和Reward模型后，一般来说是以SFT模型初始话Actor（策略模型），Ref（用于约束策略模型的参数变化量），Critic（价值模型），Reward（对策略的执行反馈即时的奖励）4个模型，Ref和Reward代表着环境对Actor的奖励或约束，参数是不会更新的，而Actor和Critic是会迭代优化的。如上面的例子中，在状态。蒙特卡洛因为采样了完整的序列，能更精准的估计奖励值，可以认为是无偏的估计，但因为序列越长，序列之间的差异越大，会产生较大的方差，导致收敛很慢；
NLP高频面试题（四十五）——PPO 算法在 RLHF 中的原理与实现详解
WeLearnNLP
04-16 339
近端策略优化（PPO）是一种基于策略梯度的深度强化学习算法。PPO 由 OpenAI 团队于 2017 年提出，旨在在保证策略更新稳定性的同时提高训练效率。与经典的策略梯度方法（如 REINFORCE）相比，PPO 引入了“近端”约束，避免每次更新时策略发生过大变化；与先前的信赖域策略优化（Trust Region Policy Optimization, TRPO）方法相比，PPO 的实现更加简单、高效，无需二阶导数计算。
大模型强化学习介绍
kcarly的专栏
02-11 1249
泛化能力是指模型在未见过的新环境中表现良好的能力。在强化学习中，泛化能力通常表现为在训练环境与测试环境之间保持一致的表现，尤其是在底层动力学或观察结果发生变化的情况下。然而，现有的强化学习方法往往容易过拟合，特别是在训练集规模较大时，模型可能无法有效泛化到新环境。
大模型入门（七）—— RLHF中的PPO算法理解
DAMOXINGHAITAI的博客
09-11 1914
本文主要是结合PPO在大模型中RLHF微调中的应用来理解PPO算法。
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 21万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
RLHF知识
bbbeoy的专栏
03-24 1184
然而，对生成结果的评估是主观和依赖上下文的，这些结果难以用现有的基于规则的文本生成指标 (如 BLUE 和 ROUGE) 来衡量。除了评估指标，现有的模型通常以预测下一个单词的方式和简单的损失函数 (如交叉熵) 来建模，没有显式地引入人的偏好和主观意见。因此，训练阶段，如果直接用人的偏好（或者说人的反馈）来对模型整体的输出结果计算reward或loss，显然是要比上面传统的“给定上下文，预测下一个词”的损失函数合理的多。：即使用强化学习的方法，利用人类反馈信号直接优化语言模型。
LLM —— 强化学习（RLHF-PPO和DPO）学习笔记
STAR GAME
08-28 3730
LLM中强化学习 RLHF部分学习
机器学习之RLHF（人类反馈强化学习）
JustinMars的博客
11-28 832
RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习） 是一种结合强化学习（RL）和人类偏好的方法，用于训练符合人类期望的模型。它通过引入人类反馈的奖励信号，指导智能体的学习过程，使其行为更符合人类的价值和目标。 RLHF 在训练大规模语言模型（如 OpenAI 的 GPT 系列）和机器人、推荐系统等领域都取得了显著效果。以下是其关键思想、主要流程及应用解析。
抱抱脸：ChatGPT背后的算法——RLHF | 附12篇RLHF必刷论文
夕小瑶科技说
12-18 1万+
文 | 卖萌酱大家好，我是卖萌酱。前几天，抱抱脸公司（HuggingFace）发表了一篇博客[1]，详细讲解了ChatGPT背后的技术原理——RLHF。笔者读过之后，觉得讲解的还是蛮清晰的，因此提炼了一下核心脉络，希望给对ChatGPT技术原理感兴趣的小伙伴带来帮助。此外，文末整理了几篇关于 RLHF 最热门的12篇必读论文，卖萌酱打包好挂在公众号后台了，感兴趣的小伙伴可以在公众号“夕小瑶的卖萌屋...
图解大模型RLHF系列之：人人都能看懂的PPO原理与源码解读
xxue345678的博客
11-28 1462
1.1 强化学习整体流程1.2 价值函数。
聊聊大模型中的强化学习，以及各种RLHF算法
最新发布
强化学习曾小健
05-16 841
强化学习（Reinforcement Learning, RL） 是机器学习的一个分支，目标是让智能体（agent）通过与环境（environment）的交互来学习最优的行为策略（policy），从而最大化某个累积回报其核心思想是通过试错和反馈的机制，找到在每个情境下的最优决策。强化学习的优化目标是通过选择策略来最大化累积奖励。具体来说，智能体的目标是寻找一个最优策略 ，使得它在各个状态下的累积回报最大。形式上，可以用价值函数（Value Function）或动作价值函数（Q函数）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值