强化学习（六）时序差分在线控制算法SARSA

最新推荐文章于 2025-11-21 20:15:05 发布
原创 最新推荐文章于 2025-11-21 20:15:05 发布 · 931 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #算法

微信公众号、知乎号（同名）：李歪理，欢迎大家关注

在强化学习（五）用时序差分法（TD）求解中，我们讨论了用时序差分来求解强化学习预测问题的方法，但是对控制算法的求解过程没有深入，本文我们就对时序差分的在线控制算法SARSA做详细的讨论。

1. SARSA算法的引入

SARSA算法是一种使用时序差分求解强化学习控制问题的方法，回顾下此时我们的控制问题可以表示为：给定强化学习的5个要素，状态集 SSS, 动作集 AAA, 即时奖励

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度探索：机器学习中的SARSA算法原理及其应用
qq_51320133的博客
04-13 4408
SARSA作为强化学习领域的一种基础算法，其在线学习、策略迭代的特点使其在众多任务中展现出优秀的性能。尽管存在收敛速度、策略选择依赖等问题，但通过结合其他技术（如经验回放、双网络架构等）或调整参数，可以有效改善其性能。未来，SARSA的研究方向可能包括： 与深度学习融合：将SARSA与深度学习模型结合，如Deep SARSA、 Dueling DQN等，以应对更大规模、更高维度的环境。 探索策略改进：研究更为高级的探索策略，如 Boltzmann exploration、Upper Confidence
sarsa算法和qlearning算法的不同之处的详细深入探讨(集百家所论)
chen的博客
10-11 2902
SARSA（State-Action-Reward-State-Action）算法和Q-learning（Quality-learning）算法都是强化学习中的常见算法，用于训练智能代理在环境中学习并制定最佳策略。它们有一些关键的不同之处：总之，SARSA和Q-learning都是强化学习中有用的算法，但它们在更新时刻、策略选择、收敛性和稳定性等方面存在不同。选择使用哪个算法通常取决于具体的问题和需求。
RL学习笔记：SARSA算法
最新发布
2201_75660982的博客
11-21 881
SARSA (State-Action-Reward-State-Action)算法，是强化学习算法的一种，可以视为Q-Learning算法的一种改进。其特点为model-free, value-based, on-policy。
强化学习入门2:SARSA算法
fangfanglovezhou的博客
01-25 4116
SARSA(State-Action-Reward-State-Action)是一种基于强化学习的算法，与Q-Learning一样，都是在智体的行为过程中迭代式地学习，但SARSA采用了和Q-Learning不同的迭代策略。SARSA算法实现如下： for i in range(200): e = Env() action = epsilon_greedy(Q, e.present_state) while (e.is_end is False) and (e.step <
Sarsa算法
qq_41903673的博客
03-26 3157
得到等式如下： 用这个公式推导TD target: 依赖于St，At，St+1。而状态价值函数是对和求期望，所以将的转换公式代入得到两项期望相加。 上面的式子可以得到下面这个式子： 由于直接求期望比较困难，所以这里用了蒙特卡洛近似。将近似成，将近似成，则该等式左边是该时刻的价值，右边是期望，我们把期望近似成TDtarget （yt)。yt部分基于真实观测到的奖励，部分基于做出的预测。 TD learing的想法是将动作价值去接近yt。这是因为完全是估计，而yt一部分是基于真实的..
SARSA 算法
qq_55223275的博客
09-04 1063
SARSA 算法的简单推导和训练过程
一文读懂时序差分算法（Sarsa算法）—强化学习(3)
wh1236666的博客
07-22 1396
打个比方：你在迷宫里找出口，每走一步（比如向东），会得到反馈（比如吃到金币或撞到墙），然后你会看下一步打算往哪走（比如接下来向北），再根据 “当前步的反馈 + 下一步的计划”，来修正 “向东这一步到底好不好” 的想法。比如它计划下一步要向上走（a'），就会用 “向上走的预期” 来修正现在的判断，而不是空想 “如果下一步走最好的路会怎样”。最后公式写成： Q(s,a) = Q(s,a) + α × [r + γ × Q(s',a') - Q(s,a)]，而且判断的依据和你实际要走的下一步是绑定的。
强化学习时序差分算法之多步Sarsa算法——以悬崖漫步环境为例
佚名
07-31 1464
通过实验我们可以发现5步Sarsa算法的收敛性比单步Sarsa算法更快，此时多步Sarsa算法得到的策略会在最远离悬崖的一边行走，以保证最大的安全性。蒙特卡洛算法是无偏的，但是它的每一步的状态转移具有不确定性，同时每一步状态采取的动作所得到的不一样的奖励最终会累计起来，从而极大影响最终的状态估计，因而其方差较大。时序差分算法只采用了一步状态转移以及使用了一步奖励，因而具有非常小的方差；蒙特卡洛方法利用当前状态之后每一步奖励而不使用任何价值估计，时序差分算法则只利用当前状态的奖励以及对下一状态的价值估计。
时序差分方法求解强化学习任务——基于同轨策略的时序差分控制(SARSA算法)
静静的学习就好
07-07 838
上一节介绍了时序差分方法的策略评估过程以及相比于蒙特卡洛方法，时序差分方法的优势。本节将介绍时序差分方法中具有代表性的方法：基于同轨策略的时序差分控制——SARSA算法。
强化学习时序差分算法之Sarsa算法——以悬崖漫步环境为例
佚名
07-31 1112
2.本悬崖漫步环境中无需提供奖励函数以及状态转移函数，而需提供一个与智能体进行交互的step()函数，该函数输入为智能体当前状态下的动作，输出为当前状态下的奖励以及智能体的下一状态，代码如下所示。3.实现Sarsa算法，维护一个Q_table()表格，本表格主要存储当前策略下所有状态动作对的价值，即所有状态下各个动作的动作价值函数，Sarsa算法与环境进行交互，采用。我们可以发现随着训练的进行，Sarsa算法获得的回报越来越高，在进行500条序列的学习后，可以获得-20左右的回报，此时非常接近最优策略了。
【Reinforcement Learning】Sarsa算法
我的技术栈碎碎念空间
02-23 784
一、Sarsa和Q-Learning的对比 Sarsa和Q-Learning很相似，我们先来对比一下这两个算法。下面是Q-Learning算法的过程： 当来到s2状态时，会估计一下选择a1和a2哪种方式能带来最大奖励。而真正做决定时，并不一定选择奖励最大的一种方式。而Sarsa则是实践派，这个算法说到做到，s2估计的动作也就是接下来要实际做的动作，如下就是Sarsa的过程： 从下面的算法描述，Sarsa相比于Q-Learning来说，少了max的计算。 其中，Q-Learning说到不一定做到，所以是
Matlab强化学习_网格迷宫问题_Sarsa算法
01-19
MATLAB强化学习代码包，用于解决多步决策模型（网格迷宫问题）的Sarsa算法。 编程与算法的详细说明可参看我的专栏：https://blog.youkuaiyun.com/weixin_43723517/category_9676083.html "I thought what I'd do was I'd pretend I was one of those deaf-mutes, or should I?"
【强化学习】常用算法之一 “SARSA”
Code_and516的博客
06-28 2659
强化学习是一种通过学习与环境交互来最大化累积奖励的方法。在强化学习中，一个智能体在特定环境中根据当前状态选择一个动作，执行该动作后，环境将转移到新的状态，并且智能体将获得奖励。强化学习的目标是通过学习，使智能体能够选择一系列能够获取最大累积奖励的动作序列，即找到最优策略。SARSA算法是一种基于状态-动作值的强化学习算法，用来学习最优策略。本文详细介绍了强化学习中的SARSA算法，包括其发展历程、算法原理、功能以及使用方法，并给出了求解迷宫问题的示例代码。
强化学习——Sarsa算法
CarveStone的博客
09-26 7005
表格型方法——Sarsa简介实战 简介 Sarsa全称是state-action-reward-state’-action’，目的是学习特定的state下，特定action的价值Q，最终建立和优化一个Q表格，以state为行，action为列，根据与环境交互得到的reward来更新Q表格，更新公式为： Sarsa在训练中为了更好的探索环境，采用ε-greedy方式来训练，有一定概率随机选择动作输出。 实战 使用 Sarsa 解决机器人找金币问题。 机器人找金币环境下载 Agent Agent是和
增强学习--Sarsa算法
weixin_30580943的博客
01-10 305
Sarsa算法 实例代码 1 import numpy as np 2 import random 3 from collections import defaultdict 4 from environment import Env 5 6 7 # SARSA agent learns every time step from the samp...
强化学习—Sarsa算法
Tony Wey的博客
08-06 1959
Sarsa算法是一种基于策略的时间差分算法，通过实时更新 Q 值来学习策略。它对策略的选择敏感，适用于在线学习任务。与 Q-learning 的主要区别在于更新机制和策略选择。
强化学习：Sarsa 算法
qq_50086023的博客
01-02 836
在强化学习中 Sarsa 和 Q learning 类似 。
深度学习（6）Sarsa算法
airwolf0992的博客
03-04 1021
Q-Learning的目的是学习到最优的动作价值函数Q⋆Q_\starQ⋆​ SARSA的目的是学习动作价值函数Qπ(s,a)Q_\pi(s,a)Qπ​(s,a) SARSA是State−Action−Reward−State−ActionState-Action-Reward-State-ActionState−Action−Reward−State−Action的简称QπQ_\piQπ​被用来评价策略的优劣，而非用于控制Agent QπQ_\piQπ​与策略函数π\piπ结合使用的模型本称作actor−
强化学习之路2——Sarsa算法
Mr.Feng的博客
07-18 2817
Sarsa算法 最近在学强化学习，看了不少的教程，还是觉得莫烦大神的强化学习教程写的不错。所以，特意仔细研究莫烦的RL代码。在这贴上自己的理解。 莫烦RL教程：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/ 代码：https://github.com/MorvanZhou/Reinfor...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值