时间差分方法Q-learning和sarsa的区别

最新推荐文章于 2025-07-24 14:44:51 发布
原创 最新推荐文章于 2025-07-24 14:44:51 发布 · 2.9k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#强化学习 #Q-learning #sarsa

Q-learning和SARSA是强化学习中使用时间差分目标更新策略的方法。Q-learning是异策略，评估的策略不同于数据产生的策略，而SARSA是同策略，两者相同。在SARSA中，选择策略只在每幕开始时进行，而Q-learning在每次迭代中都重新选择策略，以最大Q值的动作进行更新。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Q-learning和sarsa都是利用时间差分目标来更新当前行为值函数的。唯一不同的是在Q-learning中,行动策略(产生数据的策略)和要评估的策略不是一个策略，因此称之为异策略(off-policy),而在sarsa中，正好相反，也就是行动策略(产生数据的策略)和要评估的策略是一个策略，称之为同策略(on-policy)。下面从算法的角度解释其中的区别。

如上图所示，为sarsa的算法流程图。

第一个repeat循环表示每一幕（产生一轮数据或者对游戏来说是玩一局完整的游戏）。首先初始化状态S，然后根据Q网络结构和\varepsilon -greedy策略选择一个动作A，下面的循环是对当前幕来说，划个重点！！这里和Q-learning有个很大的区别就是这里的选择策略A在下面循环的外面，因为对当前幕的循环来说，选择策略只需要最开始选择一次就行了，因为同策略(on-policy)的关系，行动策略(对应于当前的选择策略A)和要评估的策略(下面进行更新的策略)是一个策

最低0.47元/天 解锁文章

200万优质内容无限畅学
小蚂蚁呀
关注
一文搞懂sarsa和Q-Learning的区别
我是香菜
01-03 1172
一文搞懂sarsa和Q-Learning的区别
强化学习入门4—Q-learning和Sarsa
小菜羊的博客
08-21 1332
本文是强化学习入门系列的第4篇，主要介绍强化学习当中非常常见的两个时序差分算法：Q-learning和Sarsa。
【强度学习解惑】Q-learning 和 SARSA 算法的区别是什么？
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
07-17 836
Q-learning 和 SARSA 算法的区别是什么？
强化学习入门二（Q-Learning）
最新发布
weixin_39699362的博客
07-24 743
Q-Learning是强化学习中最经典的无模型（model-free）算法之一，核心思想是通过学习"状态-动作价值函数"（即Q函数）来指导智能体的决策。它不需要对环境建模，直接从与环境的交互经验中学习最优策略。在实际复杂的机器人控制任务中，通常会使用Q-Learning的扩展算法，如Deep Q-Network (DQN)，它用神经网络替代Q表，能够处理高维状态空间。让我们以机器人在迷宫中寻找目标为例，具体说明Q-Learning的应用。：实现Q-Learning算法。
SARSA与Q-learning的区别
ZONGXP的博客
09-13 1万+
莫烦强化学习视频 https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/
Q-learning与Sarsa算法的区别
热门推荐
qq_39004117的博客
08-15 1万+
接触reinforcement learning有一个月的时间了，现在回来回顾当时写的Q-learning和Sarsa算法，有了更多的感触。 对于Q-learning算法和Sarsa算法的具体流程，原文已经讲解的很详细，附上参考博客地址: https://blog.youkuaiyun.com/u010223750/article/details/78955807 本文就记录一下Q-learning和S...
sarsa算法和qlearning算法的不同之处的详细深入探讨(集百家所论)
chen的博客
10-11 2674
SARSA（State-Action-Reward-State-Action）算法和Q-learning（Quality-learning）算法都是强化学习中的常见算法，用于训练智能代理在环境中学习并制定最佳策略。它们有一些关键的不同之处：总之，SARSA和Q-learning都是强化学习中有用的算法，但它们在更新时刻、策略选择、收敛性和稳定性等方面存在不同。选择使用哪个算法通常取决于具体的问题和需求。
强化学习中Sarsa与Q-learning的区别
yf_programmer的博客
10-08 6461
最近在学习强化学习，Sarsa和Q-learning作为强化学习中较为经典的的方法，两者之间有一定的相似之处，但又有较大的区别，能够很好的区分两种方法对区分on-policy和off-policy，以及之后对强化学习的进一步学习都很有帮助。 先介绍Sarsa和Q-learning共用的探索策略，再说明Sarsa和Q-learning的区别，最后拓展到on-policy和off-policy的区别。 ε-greedy Sarsa和Q-learning在探索时都是用到了ε-greedy的策略。在训练过程中我们既
强化学习中，Q-Learning与Sarsa的差别有多大？
行者AI
08-18 1054
我相信，从某种意义上讲，强化学习是人工智能的未来。 ——强化学习之父，Richard Sutton 简单来说就是，智能体通过强化学习，可以知道自己在什么状态下，应该采取什么样的动作使得自身获得最大奖励。强化学习分为在线学习和离线学习，本文以Q-learning(离线)和Sarsa(在线)出发，浅谈两者异同。 1. 简述Q-learning Q-Learning是强化学习算法中Value-based中的一种算法，Q即为Q(s,a)就是在某一时刻的s状态下(s∈S)，采取动作a (a∈A)动作能够获
SARSA 和 Q-Learning 的详细对比-ChatGPT4o作答
qq_46215223的博客
01-09 583
Q-Learning假设智能体始终选择当前状态下的最优动作（即 ( \max_a Q(s’, a) )），因此更新过程独立于实际执行的策略。这种方式在确定性环境中能够快速学到最优策略，但可能会因为高风险动作而收敛到不稳定的策略。SARSA遵循智能体的实际执行路径，更新值函数基于智能体在当前策略 ( \pi ) 下执行动作 ( a’ ) 的结果。这种方式能够在动态环境中学到更加稳健的策略，适合需要权衡风险的任务。，它们都旨在学习状态-动作值函数 ( Q(s, a) ) 来优化策略。
Q-Learning 、Sarsa与 DQN算法
XiaoFengsen的博客
07-23 4092
主要介绍了Q-Learning 算法与 DQN 算法的原理与异同点
Q-learning与Sarsa算法与区别 小学生都看得懂系列
qq278937623的博客
04-11 598
请先看https://blog.youkuaiyun.com/u010223750/article/details/78955807这文章大概了解一下 本文只是补充更仔细的代码实际运行过程，以彻底了解和区分Q-learning与Sarsa的算法与区别 代码https://github.com/nuomizai/Qlearning 正文: 已知从0.0开始，走入1.0----10.0 奖励为-100，其它每步为-1，终点11.0奖励为0 所有初始动作值都为0 假设已知0.1向右的动作值为-0.5 假设已知1.1向下的动
Sarsa和q-learning的区别
Louie_worth的博客
03-11 445
今天看到一道强化学习面试题目，才知道即使自己学了这么多理论，但是肯定是学的倒懂不懂的状态，记录以下。 文章目录伪代码介绍主要区别区别详解图解 伪代码介绍 Q-learning: off policy Sarsa: on policy 主要区别 Q-learning: off policy, Sarsa: on policy 其实主要区别是他们两个更新Q_table的方式： Q-Learning: Q(St,At)←Q(St,At)+α[Rt+1+γmax⁡aQ(St+1,a)−Q(St,At)] .
Qlearning和Sarsa的区别
tandembike的博客
07-02 864
强化学习
Q-learning和Sarsa的区别
qq_26826331的博客
04-12 356
因此对于SARSA来说 1.在状态s’时，就知道了要采取哪个a’，并真的采取了这个动作。 2.动作a的选取遵循e-greedy策略，目标Q值的计算也是根据（e-greedy）策略得到的动作a’计算得来，因此为on-policy学习。 （选择下个动作的存在探索的可能性） 而对于Q-learning来说 1, 只会选择使得下个状态Q值最大的下个动作。 2. Q learning 机器人 永远都会选择...
强化学习——Qlearning和Sarsa的区别
Abo_luo的博客
08-28 1989
强化学习——Qlearning和Sarsa的区别前言Qlearning算法简单示例Sarsa算法简单示例总结 主要是讲述一下自己学习Qlearning和Sarsa的感悟 前言 自从北京学习回到成都，一个暑假虽然”书本上“的知识没有学到什么，但是确实让身为本科生的自己眼界开阔了很多，也更加的明确了自己的目标。强化学习这一个领域之前也是仅仅知识了解大概的算法流程，知其然，不知其所以然。直到现在我也觉得其和遗传学习很相似，难道他们之间是包含与被包含的关系？（需要再继续学习才能去了解了） 本篇口水话主要是讲述一
强化学习中的Q-learning算法和Sarsa算法的区别
生命不息，Coding不止
06-27 7897
欢迎点击参观我的 ——> 个人学习网站 Q-learning 算法描述： Sarsa 算法描述： 假设我们的 Q(s, a) 是一个 Q table ，如下图所示，该表格表示共有三个 state (状态)： s1s1s_{1} 、s2s2s_{2}、s3s3s_{3} ,每个状态都有三个可选 action (动作) ：a1a1a_{1}、a2a2a_{2}、a3a...
Qlearning和Sarsa的区别到底是什么？为什么说Qlearning勇敢而Sarsa胆小谨慎？
铃灵狗的水墨书乡
04-03 1647
先啰嗦两句 最近在看Qlearning和Sarsa的机器强化学习算法，两个都看了之后突然很蒙，昨天差不多有一整天吧，一直被标题这两个问题所困扰着，在这里记录下自己的心得，以及希望给和我一样有过困扰或者正在有困扰的同学做出令人满意的回答。 再啰嗦两句 本文将会一语道破似的讲出以上两个问题的答案，伴随着少量解析，如果对以上这两个算法存在其他疑惑或者不是很了解的同学，这里给出两个链接，希望对大家有所帮助...
Q-learning和SARSA是时序差分强化学习还是蒙特卡洛强化学习
07-20
Q-learning和SARSA都属于时序差分强化学习方法，而不是蒙特卡洛强化学习方法。 时序差分强化学习是一种结合了动态规划和蒙特卡洛方法的强化学习方法。它通过使用经验数据进行增量式的更新，同时利用了当前和未来的估计值来逼近最优值函数。 具体来说，Q-learning和SARSA都是基于Q值函数的时序差分强化学习算法。 1. Q-learning：Q-learning是一种基于动态规划的无模型强化学习算法。它使用了时序差分（TD）方法，通过不断迭代更新Q值函数的估计值，使其逼近最优的Q值。Q-learning算法通过将当前状态和动作的估计值与下一个状态和动作的最大估计值相结合，来更新Q值函数的估计值。 2. SARSA：SARSA是一种基于时序差分的强化学习算法，也是一种模型-free的强化学习算法。SARSA算法使用了时序差分的方法，通过不断迭代更新Q值函数的估计值。与Q-learning不同的是，SARSA算法采用了一个策略（Policy）来决定下一个动作，并在更新Q值时使用下一个动作的估计值。 时序差分强化学习方法与蒙特卡洛强化学习方法相比，具有更高的效率和更好的适应性。它可以在每个时间步骤中进行更新，不需要等到任务结束后才进行更新，从而更快地收敛到最优策略。而蒙特卡洛强化学习方法则需要等到任务结束后才能获取完整的回报信息，进行全局更新。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值