强化学习（二）：Sarsa

最新推荐文章于 2025-07-23 16:14:10 发布
原创 最新推荐文章于 2025-07-23 16:14:10 发布 · 838 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Sarsa #Reinforcement learning

Sarsa是一种在线学习的强化学习算法，与Q_Learning的主要区别在于它是on-policy的，关注每个决策步骤。Sarsa的更新公式不依赖于下一状态的最优动作，更注重实际选取的动作。Sarsa-Lambda通过λ衰减值控制更新强度，λ=0对应单步更新，λ=1则为回合更新，介于两者之间时，离终点近的步骤更新更强烈。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Sarsa(state-action-reward-state_-action_)

1.与Q_Learning的区别

    Sarsa是on-policy，即在线学习型，下一个 state_和action_ 将会变成他真正采取的 action 和 state；Q_Learning是off-policy，即离线学习型，state_和 action_ 在算法更新的时候都还是不确定的。这种不同之处使得 Sarsa 相对于 Qlearning, 更加的深入. 因为 Qlearning保证了一个stage下一次的value最大化, 对于Sarsa 是一种保守的算法, 他在乎每一步决策, 以及下一步需要的stage和action。两种算法都有他们的好处, 比如在实际中, 你比较在乎机器的损害, 用一种保守的算法, 在训练时就能减少损坏的次数。

2.算法流程

                   屏幕快照 2016-01-06 下午9.52.57.png-61kB

    解释一下，和Q_Learning一样的流程，选择stage_和action_同样用了贪婪的方法，唯一的区别，来看看这个更新Q表的公式：                                

最低0.47元/天 解锁文章

200万优质内容无限畅学
强化学习进阶：SARSA算法与深度Q网络（DQN）初探
Programming Talk
03-22 77
本篇文章中，我们介绍了SARSA算法和深度Q网络（DQN）。SARSA算法是一种基于在线策略的强化学习算法，与Q - 学习算法类似，但在更新Q值时使用的是实际执行的动作。DQN算法结合了深度学习和Q - 学习的思想，使用神经网络来近似Q函数，能够处理高维、连续的状态空间。通过代码实现，我们更深入地理解了这两种算法的原理和应用。在接下来的文章中，我们将继续探索更多先进的强化学习算法，如策略梯度算法、演员 - 评论家算法等，并介绍它们在复杂实际问题中的应用。
强化学习
左左张
06-02 3323
强化学习 2018/6/2 1.引言 强化学习的目标是要通过奖赏与惩罚来对当前的问题得到一个最好的解决策略，对好的策略进行奖赏，对坏的策略进行惩罚，不断的强化这个过程，最终得到一个最好的策略。 2.K-摇臂赌博机 “K-摇臂赌博机”是单步强化学习任务的一个理想模型，如下图所示 该机器共有k各摇臂（图中为5个），每次只能选择摇其中一个，每个摇臂会以各自一定的概率分布掉金币，我们需要做...
一文了解强化学习
qunnie_yi的博客
06-12 7005
作者：不会停的蜗牛 优快云 AI专栏作家 强化学习非常重要，原因不只在于它可以用来玩游戏，更在于其在制造业、库存、电商、广告、推荐、金融、医疗等与我们生活息息相关的领域也有很好的应用。本文结构： 定义 和监督式学习, 非监督式学习的区别 主要算法和类别 应用举例 1. 定义强化学习是机器学习的一个重要分支，是多学科多领域交叉的一个产物，它的本质是解决 decision making 问题，...
【Reinforcement Learning】强化学习基础概述
长相忆兮长相忆的专栏
07-15 1088
Reinforcement Learning是机器学习的重要分支，其核心在于‌智能体（Agent）通过与环境的动态交互学习最优决策策略‌，以最大化长期累积奖励。
强化学习：SARSA，SARSA-Lambda的实现以及函数逼近来解决一系列开放式AI Gym环境
02-15
该项目使用强化学习来解决出租车和山地车Open AI体育馆的问题。 对于出租车，可以在（ ）上详细探讨目标。 对于山地车，可以在（ ）上详细探讨目标。 为了解决出租车问题，我实现了SARSA和SARSA Lambda算法。 对于...
SARSA 强化学习：使用 SARSA 解迷宫，强化学习-matlab开发
06-01
参考 6.4 (Sarsa: On-Policy TD Control), Reinforcement learning: An Introduction, RS Sutton, AG Barto, MIT press 在这个演示中，强化学习技术 SARSA 解决了两个不同的迷宫。 State-Action-Reward-State-Action...
OpenAI Gym强化学习实践：SARSA、Q-Learning与DQN算法测试
资源摘要信息:"本文介绍使用OpenAI Gym环境对三种强化学习算法——SARSA、Q-Learning和DQN进行实现和测试的方法。特别关注了这些算法在古典环境“Mountain Car”（山地车）和MuJoCo环境（基于物理引擎的环境）中的...
强化学习实战教程：Sarsa Lambda算法详解
该资源包“sarsa_lambda.zip”是以压缩文件格式打包的一组文件，其中包含了用于实现和执行强化学习中的Sarsa(λ)算法的Python脚本。Sarsa(λ)是一种在线策略的时序差分(TD)学习算法，用于解决序列决策问题。Sarsa(λ...
强化学习（Reinforcement Learning）
算法channel
02-16 2071
强化学习（Reinforcement Learning）是机器学习领域的三大分支之一，另外两种是我们熟知的监督学习，和非监督学习方法。强化学习也广泛的存在于我们的日常生活工作中。比如，我...
强化学习 (Reinforcement Learning)
Mr_Meng__NLP的博客
12-18 6207
强化学习： 强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。
强化学习（Reinforcement learning）
weixin_41202834的博客
08-10 4048
引言强化学习是除了监督学习和无监督学习之外的另一种机器学习方法。监督学习：是从标记好的训练数据中学习模型。无监督学习：是从未标记的数据中发现模式、结构或关系，而无需提前知道预期的输出标签。强化学习：其重点是让智能体（agent）从与环境的交互中学习，以达到最大化某种形式的累积奖励。在强化学习中，智能体采取一系列行动来实现特定目标，然后根据环境的反馈（奖励或惩罚）来调整其行为策略。强化学习有哪些好处...
强化学习（Reinforcement Learning, RL）
最新发布
mayaohao的博客
07-23 794
强化学习（Reinforcement Learning, RL）是机器学习的一个分支，其核心在于智能体（agent）如何在环境中采取一系列行动，以最大化累积奖励。，适用于需要长期规划和决策的场景。入门时建议先理解基本概念（状态、动作、奖励），再通过 OpenAI Gym 等工具实践经典算法（如 Q-learning、PPO），逐步深入。这个例子展示了 Q-learning 如何通过试错找到从起点到终点的最短路径，同时避开悬崖（奖励为 - 100）。假设有一个网格世界，智能体需要从起点走到终点，避开悬崖。
强化学习Reinforcement Learning
Huiyu Blog
08-16 1148
什么是强化学习？ 强化学习是机器学习的一种学习方式，它跟监督学习、无监督学习是平级关系。但强化学习和监督学习、无监督学习 最大的不同就是不需要大量的“数据喂养”。而是通过自己不停的尝试来学会某些技能。 强化学习算法的思路非常简单，以游戏为例，如果在游戏中采取某种策略可以取得较高的得分，那么就进一步「强化」这种策略，以期继续取得较好的结果。这种策略与日常生活中的各种「绩效奖励」非常类似。 强化学习...
强化学习（Q-learning）
热门推荐
dzcera的博客
01-22 3万+
强化学习RF简介 强化学习是机器学习中的一种重要类型，一个其中特工通过 执行操作并查看查询查询结果来学习如何在环境中表现行为。 机器学习算法可以分为3种：有监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning），如下图所示： 有监督学习、无监督学习、强化学习具有不同的特点： 有监督学习是有一个label（标记）的，这个label告诉算法什么样的输入对应着什么样的输出，常见的算法是分类、回归等；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值