【RL】同策略(on-policy)与异策略(off-policy)

最新推荐文章于 2025-04-15 00:26:18 发布
最新推荐文章于 2025-04-15 00:26:18 发布
阅读量1.7k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 笔记 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42292095/article/details/122156738
本文介绍了强化学习中的两种关键策略：同策略(on-policy)与异策略(off-policy)。通过对比Sarsa(一种同策略方法)与Q-learning(一种异策略方法)，详细阐述了这两种策略在时序差分控制中的应用及区别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


为了列表中相同类型好对比
先占坑
等开学再填坑

简介

根据更新Q值时使用的策略是既定策略（on-policy）还是新策略（off-policy）可以分为on/off policy学习

同策略on-policy

异策略off-policy

同策略、异策略区别

Sarsa：同策略时序差分控制

Q-learning：异策略时序差分控制

RLHF 家族的奇巧魔改：On Policy 与 Off Policy 路线大PK
步子哥的博客
06-23 1599
无论是 On Policy 还是 Off Policy，RLHF 家族的“魔改”之路都充满了奇思妙想。相信随着研究的深入，RLHF 技术将会在 Alignment 领域发挥越来越重要的作用。
【RL】从on-policy到off-policy
qq_43338695的博客
02-11 867
1. 什么是on-policy，什么是off-policy 其实这个概念我们之前已经提到了，这里不妨再提一下： on-policy就是获取数据的动作和最终策略的动作是一致的，比如Sarsa。 off-policy就是获取数据的动作和最终策略的动作不一致，比如QLearning。 从这种定义我们也可以得知：我们的强化学习流程中涉及到两个关键流程：一个是选择用来获取数据的动作，另一个则是我们...
同策略(On-policy)与异策略(Off-policy)
qingmuluoyang的博客
07-20 713
深度学习；强化学习
RL中的on-policy与off-policy的一点理解
qq_48191249的博客
04-23 458
RL中的on-policy与off-policy的一点理解
【RL系列】On-Policy与Off-Policy
weixin_30466421的博客
07-27 89
强化学习大致上可分为两类，一类是Markov Decision Learning，另一类是与之相对的Model Free Learning 分为这两类是站在问题描述的角度上考虑的。同样在解决方案上存在着两种方法对应着这两类问题描述，即Dynamic Programming(DP)和Stochastic Method，其中DP方法可以分为Policy Iteration与Value Iterati...
强化学习中同策略和异策略的定义和区分
civiljiao的博客
08-28 1060
因为在更新策略的时候，会从经验回放中取出数据来对现在的策略进行更新，而这些数据是先前的策略生成的，也就是说，生成数据的策略和当前要更新的策略是不同的策略，即off-policy。因为在 on-policy 设定中，更新过程依赖于当前策略生成的数据，而实践中的批量更新技术能够有效地兼顾效率与策略更新的有效性。On-policy定义：在on-policy方法中，智能体从当前策略中学习，并根据从该策略中采样的数据更新策略。- 策略一致性：由于学习过程中使用的是和执行相同的策略，因此策略的评估更加准确。
【Q-learning和SARSA】on-policy与off-policy方法的特点及在RL中的重要性
在这一领域，Q-learning和SARSA作为两种核心的时序差分学习算法，分别展示了on-policy和off-policy方法的典型特点。Q-learning是基于动作价值函数的算法，它独立于策略之外进行更新，而SARSA则是一个on-policy算法，...
[强化学习]易混知识勘误_from李宏毅P2——PPO\Off-policy\On-policy
观林望实的博客
04-14 3408
本文是这篇博文的注，如有需要请以其为纲 1.On-policy/Off-policy 若agent与环境互动，则为On-policy（此时因为agent亲身参与，所以互动时的policy和目标的policy一致）；若agent看别的agent与环境互动，自己不参与互动，则为Off-policy（此时因为互动的和目标优化的是两个agent，所以他们的policy可能不一致）。 两者在采样数据利...
Bourne强化学习笔记1：用简单例子说明Off-policy的思想与使用方法
linyijiong的博客
08-11 5505
本着ADEPT（Analogy / Diagram / Example / Plain / Technical Definition）的学习规律，本人给出直观理解、数学方法、图形表达、简单例子和文字解释，来介绍off-policy，而on-policy也将在本讲解过程中获得理解。( 在此假设大家已了解Markov Process Decision，动作概率，转移概率，Monte Carlo Met...
RL经典mode/value/policy/step/on/off
dlphay的博客
09-30 934
什么是强化学习？ 强化学习是一类算法, 是让计算机实现从一开始什么都不懂, 脑袋里没有一点想法, 通过不断地尝试, 从错误中学习, 最后找到规律, 学会了达到目的的方法. 这就是一个完整的强化学习过程. 实际中的强化学习例子有很多. 比如近期最有名的 Alpha go, 机器头一次在围棋场上战胜人类高手, 让计算机自己学着玩经典游戏Atari, 这些都是让计算机在不断
强化学习中 on-policy与off-policy 的理解；如何区分on-policy 与 off-policy；RL更新策略、policy结构总结
strawberry47的博客
07-07 7800
有趣的解释：古时候，优秀的皇帝都秉持着“水能载舟 亦能覆舟”的思想，希望能多了解民间百姓的生活。皇帝可以选择通过微服出巡，亲自下凡了解百姓生活（On-policy），虽然眼见为实，但毕竟皇帝本人分身乏术，掌握情况不全；因此也可以派多个官员去了解情况，而皇帝本人则躺在酒池肉林里收听百官情报即可（Off-policy）。Q-learning vs. Sarsa 二者都是基于TD的强化学习策略，但是前者是off-policy（有目标网络和行为网络），后者是on-policy。on-policy与off-polic
图解 RL/IL 问题范式（On-Policy、Off-policy、Offline/Batch、IL...）
佚失的诗篇
12-12 5016
图解常见强化学习、模仿学习框架
【RL】异策略算法Q-Learning寻宝藏小例子
qq_42292095的博客
10-29 604
介绍 例子的环境是一个一维世界, 在世界的右边有宝藏, 探索者只要得到宝藏尝到了甜头, 然后以后就记住了得到宝藏的方法, 这就是他用强化学习所学习到的行为。 #先定义qtable 再定义如何去选择行为，再不断地更新 #表格是表示寻宝者在每一个位置的选择的概率 import numpy as np import pandas as pd import time np.random.seed(2) #产生伪随机数列 每次产生都是一样的 #seed( ) 用于指定随机数生成时所用算法开始的整数值，如果使
【强化学习】OFF-POLICY离线策略是什么？请详细进行解释
wq6qeg88的博客
12-17 939
（离线策略）强化学习方法通过使用历史数据来学习最优策略，与。
David Silver强化学习课程笔记（五）
微念的博客
10-15 7411
第五课：模型无关的控制         本文主要介绍模型无关的控制，包括同策略方法（On-Policy，也译作“在策略”）和异策略（Off-Policy，也译作“离策略”）方法，由于是模型无关，因此本文聊的是学习（learning），而不是规划（planning）。        1.简介         在第一课中我们说到了预测和控制的区别，这里就不再赘述，下面我们主要聊一下同策略方法和异...
强化学习——蒙特卡洛方法(2)同轨策略和离轨策略
最新发布
m0_53807457的博客
04-15 625
•核心思想使用随机性策略（如ϵ\epsilonϵ-greedy，也叫ϵ\epsilonϵ-贪心）代替确定性策略，确保在训练过程中 所有动作都有非零概率被选择，从而自然覆盖状态-动作空间。ϵ\epsilonϵ-贪心策略以概率ϵ\epsilonϵ随机探索，以概率 (1-ϵ\epsilonϵ) 选择当前最优动作。•优势无需强制初始化，通过策略本身的随机性保证探索。•总结这个方法的实现方式很简单，只不过是把贪心换成了ϵ\epsilonϵ-贪心，这样就保证了尽可能访问更多的点。
强化学习（5） On Policy和Off Policy
airwolf0992的博客
03-04 819
On Policy方法是指智能体在学习过程中，
近端策略优化（PPO）
Faker_boy的博客
07-20 4851
PPO
offline rl without off-policy evaluation
04-30
离线强化学习是指将离线数据用于训练强化学习代理，这样可以实现大规模的、高效的强化学习。离线强化学习面临的一个问题是如何对代理进行评估，以衡量它们的表现。传统的策略评估方法是使用蒙特卡罗采样，但这种方法需要在线交互，并且成本很高。 近年来，出现了一种名为“offline rl without off-policy evaluation”的新方法，它是一种无需策略评估的离线强化学习方法。这个方法的核心思想是利用不同策略下的经验来学习代理的行为价值函数。具体来说，它使用重要性采样来从任意策略的历史经验中抽样，以估计目标策略的价值函数。然后，它使用一种名为“最小二乘被修正”的方法，通过调整重要性权重，来消除由于偏见引起的误差。 使用这种方法，代理可以高效地从大量离线数据中学习，而无需在线互动或者复杂的策略评估。然而，它也存在一些挑战，例如如何确定代理的默认策略和目标策略的变化如何影响算法的性能。尽管存在这些挑战，offline rl without off-policy evaluation已成为一种非常有用的离线强化学习方法，可以应用于各种不同的领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Tialyg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值