强化学习Sarsa，Q-learning的收敛性最优性区别（on-policy跟off-policy的区别）

最新推荐文章于 2025-06-27 08:44:29 发布
原创 最新推荐文章于 2025-06-27 08:44:29 发布 · 1.4w 阅读 · 37 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#强化学习

1. Sarsa 与Q-learning

在这里插入图片描述

在这里插入图片描述

Q-learning在每一步TD中贪心的获取下一步最优的状态动作值函数。而Sarsa则是e-greedy的选取TD中的下一个状态动作值函数。在这种情况下，Q-learning更倾向于找到一条最优policy，而Sarsa则会找到一条次优的policy。这是由于Sarsa在TD误差中随机的选取下一个状态动作值函数，这样可能会使整体的状态值函数降低。如下示例进一步说明这种情况。
在这里插入图片描述

The cliff是一个悬崖，上面的小方格表示可以走的道路。S为起点，G为终点。悬崖的reward为-100，小方格的reward为-1。则Q-learning的结果为optimial path最优路径。Sarsa的结果为safe path次优路径。这是由于在Sarsa更新的过程中，如果在悬崖边缘处，下一个状态由于是随机选取可能会掉下悬崖，因此当前状态值函数会降低，使得智能体不愿意走靠近悬崖的路径。而Q-learning在悬崖边选取的下一步是最优路径，不会掉下悬崖，因此更偏向于走悬崖边的最优路径。

如果e-greedy的e逐渐衰减，则Sarsa与Q-learning的结果都近似收敛到最优解。

2. on-policy 与off-policy

on-policy：生成样本的pol

最低0.47元/天 解锁文章

200万优质内容无限畅学
强化学习和Q-Learning的综合研究
gongdiwudu的专栏
06-20 2875
在我今天的中等帖子中，我将教您如何实现 Q-Learning 算法。但在此之前，我将首先解释 Q-Learning 背后的想法及其局限性。请务必具备一些强化学习 (RL) 基础知识。否则，请查看我之前关于 RL 背后的直觉和关键数学的文章。
【强化学习】中Q-learning,DQN等off-policy算法不需要重要性采样的原因
开贰锤
12-07 4836
由于Q-learning采用的是off-policy，如下图所示 但是为什么不需要重要性采样。其实从上图算法中可以看到，动作状态值函数是采用1-step更新的，每一步更新的动作状态值函数的R都是执行本次A得到的，而我们更新的动作状态值函数就是本次执行的动作A的Q(S,A)Q(S,A)Q(S,A)。就算A不是通过greedygreedygreedy策略选择的（是通过ϵ−greedy\epsilon...
强化学习中，Q-Learning与Sarsa的差别有多大？
行者AI
08-18 1051
我相信，从某种意义上讲，强化学习是人工智能的未来。 ——强化学习之父，Richard Sutton 简单来说就是，智能体通过强化学习，可以知道自己在什么状态下，应该采取什么样的动作使得自身获得最大奖励。强化学习分为在线学习和离线学习，本文以Q-learning(离线)和Sarsa(在线)出发，浅谈两者异同。 1. 简述Q-learning Q-Learning是强化学习算法中Value-based中的一种算法，Q即为Q(s,a)就是在某一时刻的s状态下(s∈S)，采取动作a (a∈A)动作能够获
深度学习：Q-learning收敛证明
bug404
02-06 4075
Q-learning收敛证明
马尔可夫决策过程Markov Decision Process（MDP)
最新发布
weixin_39699362的博客
06-27 720
马尔可夫决策过程（MDP）是一种用于建模。
Qlearning算法详解及其收敛性分析
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
04-12 784
Q-learning算法详解及其收敛性分析 作者：禅与计算机程序设计艺术 1. 背景介绍 增强学习(Reinforcement Learning, RL)是机器学习的一个重要分支,它研究如何通过与环境的交互来学习最优的决策策略。Q-learning是增强学习中最为广
RL强化学习——详解Q-learning和SARSA算法
Elon15的博客
08-28 1929
RL强化学习——详解Q-learning和SARSA算法
Q-Learning
cuixuange的博客
08-20 431
Q-Learning off-policy 1.公式解读 https://www.zhihu.com/question/26408259 2.公式=>矩阵示例 房间最优路径问题 https://blog.youkuaiyun.com/lwb102063/article/details/52734861 http://mnemstudio.org/path-finding-q-learnin...
SARSA 和 Q-Learning 的详细对比-ChatGPT4o作答
qq_46215223的博客
01-09 572
Q-Learning假设智能体始终选择当前状态下的最优动作（即 ( \max_a Q(s’, a) )），因此更新过程独立于实际执行的策略。这种方式在确定性环境中能够快速学到最优策略，但可能会因为高风险动作而收敛到不稳定的策略。SARSA遵循智能体的实际执行路径，更新值函数基于智能体在当前策略 ( \pi ) 下执行动作 ( a’ ) 的结果。这种方式能够在动态环境中学到更加稳健的策略，适合需要权衡风险的任务。，它们都旨在学习状态-动作值函数 ( Q(s, a) ) 来优化策略。
强化学习基础知识——Value-Based（Q-Learning、Double Q-Learning、Sarsa、Sarsa-Lambda）
WindGrin_的博客
04-13 1222
强化学习基础知识——Value-Based（Q-Learning、Double Q-Learning、Sarsa、Sarsa-Lambda）
强化学习策略更新方法on-policy与off-policy(重要性采样，q-Learning，sarsa)
weixin_36378508的博客
09-09 1452
Off-policy方法的典型例子是：Q-learning，DQN（Deep Q-Networks），DDPG（Deep Deterministic Policy Gradient），SAC（Soft Actor-Critic）等。On-policy方法的典型例子是：REINFORCE算法，Actor-Critic算法，PPO（Proximal Policy Optimization，近端策略优化）算法等。策略更新方法可以分为两类：On-policy（在线策略）和Off-policy（离线策略）。
强化学习学习（三）收敛性证明与DDPG
QinZheng7575的博客
07-25 2191
强化学习大多数不是理论收敛的，本文就给出了原因和证明思路。接着我们讨论Double Q-Learning和在连续动作下的强化学习DDPG
深度强化学习中利用Q-Learngin和期望Sarsa算法确定机器人最优策略实战（超详细 附源码）
showswoller的博客
11-24 1016
深度强化学习中利用Q-Learngin和期望Sarsa算法确定机器人最优策略实战（超详细 附源码）
对强化学习的几点理解
azeyeazeye的博客
07-17 973
1.强化学习的本质是在大空间中寻找最优解，是介于穷举和贪婪之间的一种探索机制，这种探索机制是学习得来的。 2.强化学习的设计是用来解决离散问题的。 3.“介于穷举和贪婪之间”：不用穷举可以减少搜索量，提升速度；不用贪婪可以尽量避免局部最优解。因此可以说是在计算时间与全局最优之间的权衡。 4.最难是建模，弄清楚什么是状态空间，什么是动作空间，什么是转移概率，什么...
强化学习——Qlearning和Sarsa的区别
Abo_luo的博客
08-28 1989
强化学习——Qlearning和Sarsa的区别前言Qlearning算法简单示例Sarsa算法简单示例总结 主要是讲述一下自己学习Qlearning和Sarsa的感悟 前言 自从北京学习回到成都，一个暑假虽然”书本上“的知识没有学到什么，但是确实让身为本科生的自己眼界开阔了很多，也更加的明确了自己的目标。强化学习这一个领域之前也是仅仅知识了解大概的算法流程，知其然，不知其所以然。直到现在我也觉得其和遗传学习很相似，难道他们之间是包含与被包含的关系？（需要再继续学习才能去了解了） 本篇口水话主要是讲述一
总结:比较SARSA、SARSA(lambda)、Q-learning、on policy and off policy
weixin_30924087的博客
05-13 553
前几天面试的时候被问到RL一些基础算法的区别，回来抽空做了一些整理方便加深理解。 On policy与off policy 为了解决强化学习中探索与利用的平衡问题，可以采用两个策略训练模型，一个策略为行为策略，用于保持探索性，提供多样化的数据，不断优化另一个策略(目标策略)。 on policy的目标策略与行为策略是一个策略，在优化时，两个策略同时被优化。而off policy的目标策略与行...
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想
zhangxiaolil的博客
11-05 4097
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想 强化学习的五大要素： State、Action、Reward、Discount factor （r）、P 转移概率。 Q-Learning思想过程 Q-learning是强化学习中基于价值的算法，是一种off-policy、免模型策略。 Q-Learning就是在环境的某一个时刻的状态(state)下，采取动作集中的一个动作a能够获得收益的期望，环境会根据agent的动
强化学习——从Q-Learning到DQN
理想三旬
11-27 1119
1 学习目标 复习Q-Learning； 理解什么是值函数近似（Function Approximation）； 理解什么是DQN，弄清它和Q-Learning的区别是什么。 2 用Q-Learning解决经典迷宫问题 现有一个5房间的房子，如图1所示，房间与房间之间通过门连接，编号0到4,5号是房子外边，即我们的终点。我们将agent随机放在任一房间内，每打开一个房门返回一个reward。图2为房间之间的抽象关系图，箭头表示agent可以从该房间转移到与之相连的房间，箭头上的数字代表rew
强化学习算法中SARSA
牛肉胡辣汤
08-29 305
它是基于状态-动作-奖励-下一个状态-下一个动作（State-Action-Reward-State-Action）的模式进行学习和决策的。SARSA算法的更新规则如下： Q(S, A) = Q(S, A) + α(R + γQ(S', A') - Q(S, A)) 其中，Q(S, A)表示状态-动作对(S, A)的价值，α是学习率（用于控制每次更新的影响程度），R是奖励信号，S'是下一个状态，A'是在下一个状态选择的动作，γ是折扣因子（用于权衡当前奖励和未来奖励的重要性）。最后，打印训练后的Q值表。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值