强化学习（六）时序差分在线控制算法SARSA

最新推荐文章于 2025-03-04 15:34:45 发布
最新推荐文章于 2025-03-04 15:34:45 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 手把手教你ML机器学习算法源码全解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/97892842
本文详细探讨了强化学习中的时序差分在线控制算法SARSA，包括其引入背景、算法概述、流程、实例分析以及SARSA(λ)的原理。SARSA算法在不需要环境状态转化模型的情况下，使用时序差分方法解决控制问题，通过不断迭代更新价值函数和策略，适用于不复杂的问题求解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

　在强化学习（五）用时序差分法（TD）求解中，我们讨论了用时序差分来求解强化学习预测问题的方法，但是对控制算法的求解过程没有深入，本文我们就对时序差分的在线控制算法SARSA做详细的讨论。

　　　　SARSA这一篇对应Sutton书的第六章部分和UCL强化学习课程的第五讲部分。

1. SARSA算法的引入

　　　　SARSA算法是一种使用时序差分求解强化学习控制问题的方法，回顾下此时我们的控制问题可以表示为：给定强化学习的5个要素：状态集SS, 动作集AA, 即时奖励RR，衰减因子γγ, 探索率ϵϵ, 求解最优的动作价值函数q∗q∗和最优策略π∗π∗。

　　　　这一类强化学习的问题求解不需要环境的状态转化模型，是不基于模型的强化学习问题求解方法。对于它的控制问题求解，和蒙特卡罗法类似，都是价值迭代，即通过价值函数的更新，来更新当前的策略，再通过新的策略，来产生新的状态和即时奖励，进而更新价值函数。一直进行下去，直到价值函数和策略都收敛。

　　　　再回顾下时序差分法的控制问题，可以分为两类，一类是在线控制，即一直使用一个策略来更新价值函数和选择新的动作。而另一类是离线控制

了解本专栏 订阅专栏 解锁全文
（5-2）时序差分学习和SARSA算法：SARSA算法
码农三叔
02-16 1515
SARSA（State-Action-Reward-State-Action）是一种强化学习算法，用于解决马尔可夫决策过程（MDP）中的控制问题，即学习一个最优策略来最大化累积奖励。
时序差分(TD)算法:
waski的博客
02-26 446
1. 小猴子每走1步，看一下这个路口的V值，还有获得的奖励r； 2. 回到原来的路口，把刚刚看到的V值和奖励r进行运算，估算出V值。
动手学强化学习（四）：时序差分算法 （Temporal Difference）
与君共勉，一起学习
05-06 7732
强化学习基础篇（四）：时序差分算法 （Temporal Difference）1. 简介2. 时序差分方法3. Sarsa 算法4. 多步 Sarsa 算法5. Q-learning 算法在线策略算法与离线策略算法6. 总结 文章转于 伯禹学习平台-动手学强化学习 （强推） 与君共勉，一起学习。 1. 简介   动态规划算法要求马尔可夫决策过程是已知的，即要求与智能体交互的环境是完全已知的（例如迷宫或者给定规则的网格世界）。在此条件下，智能体其实并不需要和环境真正交互来采样数据，直接用动态规划算法就可以解
时序差分算法（Temporal Difference）
lesileqin的博客
11-27 7160
文章目录1、时序差分算法2、Sarsa3、Q-Learning 基于时序差分的算法不需要事先知道环境的状态转移函数和奖励函数 1、时序差分算法 时序差分算法是一种用来估计一个策略的价值函数的方法，可以从样本中学习，不需要事先知道环境。 蒙特卡洛方法对价值函数的增量更新方式： 蒙特卡洛方法需要等到整个序列结束才能计算得到这一次的回报，而时序差分只需要当前步结束就行，它用当前获得的奖励加上下一个状态的价值估计来当作在当前状态会获得的回报： 其中Rt+γV(St+1−V(St))R_t + \gamma V
强化学习基础 | (7) 时序差分离线控制算法Q-Learning
sdu_hao的博客
08-23 856
原文地址 作者：刘建平 在时序差分在线控制算法SARSA中我们讨论了时序差分的在线控制算法SARSA，而另一类时序差分的离线控制算法还没有讨论，因此本文我们关注于时序差分离线控制算法，主要是经典的Q-Learning算法. Q-Learning这一篇对应Sutton书的第六章部分和UCL强化学习课程的第五讲部分。 文章目录1. Q-Learning算法的引入2. Q-Learning算法概述3. Q-Learning算法流程4. Q-Learning算法实例：Windy GridWorld5. SARSA
强化学习时序差分算法之多步Sarsa算法——以悬崖漫步环境为例
佚名
07-31 1305
通过实验我们可以发现5步Sarsa算法的收敛性比单步Sarsa算法更快，此时多步Sarsa算法得到的策略会在最远离悬崖的一边行走，以保证最大的安全性。蒙特卡洛算法是无偏的，但是它的每一步的状态转移具有不确定性，同时每一步状态采取的动作所得到的不一样的奖励最终会累计起来，从而极大影响最终的状态估计，因而其方差较大。时序差分算法只采用了一步状态转移以及使用了一步奖励，因而具有非常小的方差；蒙特卡洛方法利用当前状态之后每一步奖励而不使用任何价值估计，时序差分算法则只利用当前状态的奖励以及对下一状态的价值估计。
时序差分方法求解强化学习任务——基于同轨策略的时序差分控制(SARSA算法)
静静的学习就好
07-07 701
上一节介绍了时序差分方法的策略评估过程以及相比于蒙特卡洛方法，时序差分方法的优势。本节将介绍时序差分方法中具有代表性的方法：基于同轨策略的时序差分控制——SARSA算法。
强化学习时序差分算法之Sarsa算法——以悬崖漫步环境为例
佚名
07-31 980
2.本悬崖漫步环境中无需提供奖励函数以及状态转移函数，而需提供一个与智能体进行交互的step()函数，该函数输入为智能体当前状态下的动作，输出为当前状态下的奖励以及智能体的下一状态，代码如下所示。3.实现Sarsa算法，维护一个Q_table()表格，本表格主要存储当前策略下所有状态动作对的价值，即所有状态下各个动作的动作价值函数，Sarsa算法与环境进行交互，采用。我们可以发现随着训练的进行，Sarsa算法获得的回报越来越高，在进行500条序列的学习后，可以获得-20左右的回报，此时非常接近最优策略了。
强化学习数学基础(七)——时序差分
ArtoriaLili的博客
02-10 1080
时间差分算法,TD 算法是一种结合了动态规划（DP）和蒙特卡罗（MC）方法思想的强化学习算法，它能够在不需要完整环境模型的情况下，通过与环境的交互学习得到最优策略，用于估计值函数等强化学习中的关键量.
时序差分算法：Sarsa&Qlearning
ggjkd的博客
03-12 611
一、 时序差分法 通过学习后继状态s’的值函数来逼近当前状态值函数，实现对不完整轨迹的学习（因为仅估计后继状态s’）。 V(st)=V(st)+α(Rt+1+γV(st+1)−V(st)) V\left(s_{t}\right)=V\left(s_{t}\right)+\alpha\left(R_{t+1}+\gamma V\left(s_{t+1}\right)-V\left(s_{t}\right)\right) V(st​)=V(st​)+α(Rt+1​+γV(st+1​)−V(st​)) 和MC相似
时序差分法
qq_45601625的博客
09-16 579
时序差分是一种用来估计一个策略的价值函数的方法，它结合了蒙特卡洛和动态规划算法的思想。时序差分方法和蒙特卡洛的相似之处在于可以从样本数据中学习，不需要事先知道环境；和动态 规划的相似之处在于根据贝尔曼方程的思想，利用后续状态的价值估计来更新当前状态的价值估计。蒙特卡洛方法必须要等整个序列结束之后才能计算得到这一次的回报G(t)，而时序差分方法只需要当前步结束即可进行计算。
【强化学习理论】时序差分算法
Mocode的博客
05-23 478
关于时序差分算法两种代表方法（Sarsa和Q-learning）的异同，延伸到在线策略和离线策略学习方法的异同。
强化学习-时序差分算法（TD）和SARAS法
weixin_30719711的博客
03-09 689
1. 前言 我们前面介绍了第一个Model Free的模型蒙特卡洛算法。蒙特卡罗法在估计价值时使用了完整序列的长期回报。而且蒙特卡洛法有较大的方差，模型不是很稳定。本节我们介绍时序差分法，时序差分法不需要完整的序列，并且利用Bellman公式和动态规划进行迭代。 2. 时序差分和蒙特卡洛比较 前面提到蒙特卡罗的计算方法由于使用了完整的采样得到了长期回报值，所以在价值的估计上的偏差更小，但同时它需要...
强化学习：时序差分算法 TD-learning
qq_50086023的博客
06-23 2653
强化学习：时序差分算法 TD-learning
机器学习方法篇(27)------时序差分方法
对半独白
04-29 2452
● 每周一言 智商决定深度，而情商决定高度。 导语 前面分别讲解了增强学习当中的动态规划方法和蒙特卡洛方法的算法思想。在实际问题当中，DP通常无法或者很难得到问题的真实模型结构，MC则很难估算一次行动的最终价值奖励。 时序差分方法结合了动态规划和蒙特卡洛方法的优点，是强化学习的核心思想。那么，TD的算法思想是什么？ 时序差分方法 前文我们了解了MC是每次对样本进行完整的采样模拟，用...
RL（六）时序差分法（TD）
weixin_42022175的博客
08-20 3458
目录时序差分概述 时序差分概述 前面我们讲了基于模型的动态规划和不基于模型的蒙特卡罗算法，他们都有各自的优点和缺点。动态规划能够很好的基于模型来求解强化学习，但是现实问题中很少能提前知道这个模型；蒙特卡罗算法能够一定程度上结局无模型的强化学习任务，但是它必须在拥有完整的序列的前提下才能得到好的效果，这在现实中也很难实现。未来更高效的求解强化学习任务，我们基于自举方式的动态规划和基于采样思想的蒙特卡...
动手学强化学习第五章（时序差分算法）
qq_47997583的博客
04-26 798
时序差分方法最基础的代码示例
强化学习——时序差分方法（七）
最新发布
weixin_63311945的博客
03-04 395
强化学习教程（七）
Sarsa算法解析：现时策略时序差分控制在强化学习中的应用
"这篇文档是关于强化学习(RL)的教程，主要讲解了现时策略时序差分控制，特别是Sarsa算法及其扩展Sarsa(λ)，并结合Keras训练曲线和混淆矩阵对CNN层输出进行可视化。文档内容包括马尔科夫决策过程、动态规划、蒙特...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值