sarsa和q-learning区别

最新推荐文章于 2025-03-13 13:45:08 发布
原创 最新推荐文章于 2025-03-13 13:45:08 发布 · 626 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了SARSA与Q-Learning两种强化学习算法的区别，重点讲解了它们在更新Q值时的不同策略，SARSA遵循当前策略进行更新，而Q-Learning则选择最大Q值的动作，体现了on-policy与off-policy的本质差异。

sarsa是on policy

å±å¹å¿«ç§ 2016-01-06 ä¸å9.52.57.png-61kB

q-learning是off policy 

区别在于更新Q值的时候，直接使用了最大的Q(st+1,a)，相当于采用了Q(st+1,a)值最大的动作，即与t时刻a动作所采用的policy无关

å±å¹å¿«ç§ 2016-01-09 ä¸å12.35.01.png-140.7kB

fly_boss
关注
强化学习（一）--Sarsa与Q-learning算法
qq_37333048的博客
03-15 2479
强化学习（一）--Sarsa与Q-learning算法1. SARSA算法2. Q-learning算法3. 代码实现3.1主函数3.2训练及测试函数3.3 SarsaAgent类的实现3.3.1 sample函数3.3.2 predict函数3.3.3 learn函数3.4 Q-learning算法的改变 最近实验室有一个项目要用到强化学习，在这开个新坑来记录下强化学习的学习过程。 第一节就先来最简单的基于表格型的RL算法，包括经典的Sarsa和Q-learning算法。 由于时间原因，关于算法的理论知识
SARSA 和 Q-Learning 的详细对比-ChatGPT4o作答
qq_46215223的博客
01-09 590
Q-Learning假设智能体始终选择当前状态下的最优动作（即 ( \max_a Q(s’, a) )），因此更新过程独立于实际执行的策略。这种方式在确定性环境中能够快速学到最优策略，但可能会因为高风险动作而收敛到不稳定的策略。SARSA遵循智能体的实际执行路径，更新值函数基于智能体在当前策略 ( \pi ) 下执行动作 ( a’ ) 的结果。这种方式能够在动态环境中学到更加稳健的策略，适合需要权衡风险的任务。，它们都旨在学习状态-动作值函数 ( Q(s, a) ) 来优化策略。
时间差分方法Q-learning和sarsa的区别
qq_27514521的博客
07-21 2945
Q-learning和sarsa都是利用时间差分目标来更新当前行为值函数的。唯一不同的是在Q-learning中,行动策略(产生数据的策略)和要评估的策略不是一个策略，因此称之为异策略(off-policy),而在sarsa中，正好相反，也就是行动策略(产生数据的策略)和要评估的策略是一个策略，称之为同策略(on-policy)。下面从算法的角度解释其中的区别。 如上图所示，为sarsa的算...
强化学习中Sarsa与Q-learning的区别
yf_programmer的博客
10-08 6483
最近在学习强化学习，Sarsa和Q-learning作为强化学习中较为经典的的方法，两者之间有一定的相似之处，但又有较大的区别，能够很好的区分两种方法对区分on-policy和off-policy，以及之后对强化学习的进一步学习都很有帮助。 先介绍Sarsa和Q-learning共用的探索策略，再说明Sarsa和Q-learning的区别，最后拓展到on-policy和off-policy的区别。 ε-greedy Sarsa和Q-learning在探索时都是用到了ε-greedy的策略。在训练过程中我们既
Q-learning和Sarsa的区别
weixin_30518397的博客
08-14 310
Q-learning和Sarsa的区别 Q-learning是off-policy，而Sarsa是on-policy学习。 Q-learning在更新Q table时，它只会需要Q值最大，但是不一定会选择使这个Q值最大的动作，因为选择哪个动作是由其他的策略决定的，...
Python库 | astro_salsa-1.0.0-py3-none-any.whl
03-14
在Python的世界里，`astro_salsa-1.0.0-py3-none-any.whl` 是一个特定的库，专为处理天文数据和分析而设计。这个文件是一个 Wheel 文件，它是Python包的一种二进制分发格式，使得安装过程更为简便。 首先，让我们...
Salsa-Bachata-Summit-2020:我使用 CSS flexbox、网格、SASS 和 Bootstrap 为 Salsa 会议节构建了一个完全响应式的网站
08-04
2020 年莎莎和巴查塔峰会 这是一年一度的莎莎音乐节的完全响应式网站。 高级 CSS 用于构建此网站，例如 CSS Grids、Flexbox、Bootsrap 和 SAAS。 该项目基于此网站 。 该项目的要求如下： 构建 3 个页面作为最低...
莎莎！「Salsa!」-crx插件
03-23
时间管理定时器 一个简单的时间管理扩展，可以通过在一天中短暂休息几个时间来帮助您专注于工作。 它提供了一些预定义的期间组，但是您也可以创建自己的组，以更好地适应您的工作节奏！ 支持语言:English
salsa算法matlab代码-Performance-evaluation-of-typical-approximation-algorit
06-12
salsa算法matlab代码非凸Lp最小化扩散的典型近似算法的性能评估 重建代码需要 #MATLAB 基于 Lp 范数的重建实现：reconstruct_stnd_cw_Lp（需要：adaptive_opt_lambda.m） #MATLAB 使用加权 SALSA 实现迭代重加权 L1 ...
sarsa算法和qlearning算法的不同之处的详细深入探讨(集百家所论)
chen的博客
10-11 2697
SARSA（State-Action-Reward-State-Action）算法和Q-learning（Quality-learning）算法都是强化学习中的常见算法，用于训练智能代理在环境中学习并制定最佳策略。它们有一些关键的不同之处：总之，SARSA和Q-learning都是强化学习中有用的算法，但它们在更新时刻、策略选择、收敛性和稳定性等方面存在不同。选择使用哪个算法通常取决于具体的问题和需求。
Qlearning和Sarsa的区别
tandembike的博客
07-02 868
强化学习
Sarsa算法和Q-learning算法
PiggyRuns的博客
06-02 3350
强化学习Sarsa和Q-learning算法，详细流程以及代码实现
强化学习基础篇——Q-learning和SARSA
最新发布
weixin_73605337的博客
03-13 960
Q-learning 和 SARSA 是强化学习中两种重要的时序差分算法，分别代表了离策略和在策略的学习方法。Q-learning 通过直接学习最优动作价值函数，能够收敛到全局最优策略，但在探索与利用的平衡上可能存在不足。SARSA 则基于当前策略学习动作价值函数，更适合动态环境和需要保守决策的场景。在实际应用中，选择哪种算法取决于具体问题的性质和环境的特点。随着深度强化学习的发展，Q-learning 和 SARSA 的思想也被扩展到更复杂的场景中，例如深度 Q 网络（DQN）和深度 SARSA 算法。
【强化学习】Q-learning，DQN，SARSA算法介绍
几度热忱的博客
05-27 1363
【强化学习】Q-learning，DQN，SARSA算法介绍 强化学习算法分类 基于价值的方法 基于策略的方法 Actor-Critic方法 Q-learning算法 DQN算法 强化学习训练数据存在的问题 经验回放机制 备份网络机制 Sarsa算法 总结
强化学习基础篇[2]：SARSA、Q-learning算法简介、应用举例、优缺点分析
丨汀、的博客
06-02 1355
【强化学习原理+项目专栏】必看系列：单智能体、多智能体算法原理+项目实战、相关技巧（调参、画图等、趣味项目实现、学术应用项目实现 专栏详细介绍：【强化学习原理+项目专栏】必看系列：单智能体、多智能体算法原理+项目实战、相关技巧（调参、画图等、趣味项目实现、学术应用项目实现对于深度强化学习这块规划为：本专栏主要方便入门同学快速掌握强化学习单智能体|多智能体算法原理+项目实战。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知其然、知其所以然、知何由以知其所以然。声明：部分项目为
Q-learning与Sarsa算法与区别 小学生都看得懂系列
qq278937623的博客
04-11 600
请先看https://blog.youkuaiyun.com/u010223750/article/details/78955807这文章大概了解一下 本文只是补充更仔细的代码实际运行过程，以彻底了解和区分Q-learning与Sarsa的算法与区别 代码https://github.com/nuomizai/Qlearning 正文: 已知从0.0开始，走入1.0----10.0 奖励为-100，其它每步为-1，终点11.0奖励为0 所有初始动作值都为0 假设已知0.1向右的动作值为-0.5 假设已知1.1向下的动
一文搞懂sarsa和Q-Learning的区别
我是香菜
01-03 1180
一文搞懂sarsa和Q-Learning的区别
深度学习中sarsa算法和Q-learning算法的区别
zhaoying9105的博客
06-12 9268
sarsa 和 Q-learning都是时序差分下对动作价值函数优化的单步方法，算法基本上一样，只有一点： 为了更新St的动作价值函数，需要St+1的动作价值函数，St+1具体是什么St+1是由上个episode决定了，但是St+1对应的action由什么决定呢？sarsa的处理方式是episinon + greedy，和St选择aciton采取的方法是一样的，称为 on-policy； Q-l
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值