基于table的Q learning和Sarsa算法

最新推荐文章于 2025-04-02 16:05:13 发布
原创 最新推荐文章于 2025-04-02 16:05:13 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#增强学习 #算法 #表格法 #RL

本文介绍了在没有神经网络时，通过表格法实现的强化学习算法，包括Off-policy的Q learning（冒险想象派）和On-policy的Sarsa learning（保守实践派）。这两种算法在决策和更新Q表方面有相似之处，但Sarsa算法在更新时考虑了实际采取的动作。此外，还提到了Sarsa-lambda算法，其Lambda参数决定了更新的强度和未来价值的影响。

Off-policy Q learning算法和On-policy Sarsa learning都是时序差分（TD）下对动作价值函数优化的单步方法，在没有神经网络之前，都是通过table的方法，下面简单介绍一下：

 

最佳决策可以通过遍历所有的情况去得到，有些时候情况比较多元，只能通过部分的情况去学习经验，然后得到一个亚最佳决策（趋近于最佳决策）。

那么如何得到亚最佳决策是我们关心的问题。

 

Off-policy Q learning算法（冒险想象派）：


决策算法：在行为准则Q表（在状态s下所有可以选择动作的价值表）中，遵循e-greedy策略选取最大价值的动作进行执行，重复执行。

更新算法：更新行为准则Q表，通过价值的现实值和估计值。

Gamma值：如果 gamma 从 0 变到 1，对远处的价值看得越清楚, 所以机器人渐渐变得有远见, 不仅仅只看眼前的利益, 也为自己的未来着想。

O

最低0.47元/天 解锁文章
深度强化学习研究笔记（2）——Q-learning（Q-learning问题描述，Q-table方法，一个Python小例子）
越野者的博客
03-16 8145
文章目录1. Q-learning2. 1. Q-learning Q-learning是一种典型的基于价值（Value）函数的强化学习方法，其中的Q是一个数值，通常在初始化时有可能被赋予一个任意数值（因问题场景而异），在迭代时刻ttt，我们有状态sts_tst​，此时代理做出动作ata_tat​，然后得到奖励rtr_trt​，从而进入到一个更新的状态st+1s_{t+1}st+1​，从而Q值得到...
强化学习实战3：Sarsa 与 Q-Learning 算法求解迷宫问题
qq_53324833的博客
07-11 1084
首先实验环境依然是我们之前说的迷宫环境，然后是一些基本术语，应该都是比较熟悉的：强化学习的算法大概有两类，一类是策略迭代（讲究的是策略 Π ），还有一类是价值迭代，也就是本节要说的内容。在价值迭代算法的类型中有两个非常重要的算法，即 Sarsa 和 Q-learning。本节介绍 Sarsa。Sarsa 名称的由来：取的是一个小 trajectory 的首字母缩写：state action reward state action。
【RL】强化学习小例子 Q table 表单 Q learning 算法
赵继超的笔记
04-26 2169
文章目录0. 任务描述1. 伪代码2. Python 代码实现2.1 初始化一些参数2.2 新建一个空的 Q 表2.3 行为选择2.4 环境反馈2.5 更新环境2.6 主循环Ref: 看了两天书本《深入浅出强化学习》，感觉对概念理解的还是太笼统。鉴于做中学的思想，准备找个小例子跑一跑程序，加深下理解。 找了很多，要么太难，要么太笼统。只找到了莫烦Python老师的这个小例子，不仅有代码，还有视频讲解，感觉很多，跟着大佬学一学。 0. 任务描述 使用的任务是一个1维世界，在世界的右边有宝藏，智能体只要得到宝藏
Q-Learning实现
女王の专属领地
05-07 6016
1、算法： 整个算法就是一直不断更新 Q table 里的值, 然后再根据新的值来判断要在某个 state 采取怎样的 action. Qlearning 是一个 off-policy 的算法, 因为里面的 max action 让 Q table 的更新可以不基于正在经历的经验(可以是现在学习着很久以前的经验,甚至是学习他人的经验). 不过这一次的例子, 我们没有运用到 off-policy
【EasyRL学习笔记】第三章 表格型方法（Q-Table、Sarsa、Q-Learning）
热门推荐
知不足而奋进，望远山而前行
10-20 2万+
（1）在每个回合中，如果在时间步 ttt 状态 sss 被访问了，那么（2）状态 sss 的价值可以通过回报的平均来估计，即 V(s)=S(s)/N(s)V(s)=S(s) / N(s)V(s)=S(s)/N(s) 。根据大数定律，只要我们得到足够多的轨迹，就可以趋近这个策略对应的价值函数。当 N(s)→∞N(s) \rightarrow \inftyN(s)→∞ 时， V(s)→Vπ(s)V(s) \rightarrow V_\pi(s)V(s)→Vπ​(s) 。μt=1t∑j−1txj=1t(xt+∑j
Q-Learning和Sarsa Table
Data _designer
04-08 349
import numpy as np import pandas as pd import time np.random.seed(2) # reproducible N_STATES = 6 # the length of the 1 dimensional world ACTIONS = ['left', 'right'] # available actions EPSILON = 0.9 # greedy police ALPHA = 0.1 # learning r.
Q-Learning和Sarsa的区别(内含代码)
weixin_45537232的博客
11-07 598
对比总结了Q-Learning和Sarsa的区别，并且有具体的代码实现
强化学习基础篇——Q-learning和SARSA
weixin_73605337的博客
03-13 1026
Q-learning 和 SARSA 是强化学习中两种重要的时序差分算法，分别代表了离策略和在策略的学习方法。Q-learning 通过直接学习最优动作价值函数，能够收敛到全局最优策略，但在探索与利用的平衡上可能存在不足。SARSA 则基于当前策略学习动作价值函数，更适合动态环境和需要保守决策的场景。在实际应用中，选择哪种算法取决于具体问题的性质和环境的特点。随着深度强化学习的发展，Q-learning 和 SARSA 的思想也被扩展到更复杂的场景中，例如深度 Q 网络（DQN）和深度 SARSA 算法。
SARSA.rar_SARSA MATLAB_mountaincar sarsa _qlearning_sarsa_sarsa
07-13
通过运行这些文件，你可以观察SARSA算法在`mountaincar`问题上的性能，理解其与Q-Learning的异同，以及在不同参数设置下的表现。这不仅有助于深入理解SARSA算法，也有助于提升在强化学习领域的实践能力。
tabular Q-learning 二维空间搜索小例子
zhpwhy的博客
02-15 1585
莫烦python的强化学习教程中tabular Q-learning小例子是一个一维的空间，原文链接https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/2-1-general-rl/，本文将其改进为二维空间，代码如下. # -*- coding: utf-8 -*- """ Created...
Q-GridWorld：使用表格Q学习算法的演示项目
02-06
Q-GridWorld演示 一个简单的Unity项目，以表格形式展示了Q学习算法。 要获得浏览器内WebGL版本，请点击的链接。 总览 在最简单的情况下，我们有一个5x5的网格世界，其中有一个特工（蓝色方块），一个目标（绿色方块）和障碍物（红色方块）。 对于演示的每次运行，都会随机选择代理商，目标和障碍物的位置（但在同一演示运行中保持一致）。 在这种网格世界环境中，代理的目标是学习一种策略，以有效地从其起始位置导航到目标位置，同时避免障碍。 它通过学习针对处于每种状态的最佳行动来实现这一目标（通常称为强化学习策略）。 这里的动作是移动的方向（北，南，东和西），而这里的状态是其在网格世界中的位置
【RL】深入TD：基于QTable的SARSA和QLearning
qq_43338695的博客
02-09 471
之前的一篇博文提到TD是我们现在用得非常多的一种算法。它的公式如下： 之前一片博文讲到就讲到这里为止。我们并没有具体地提到我们该如何计算G。只讲了，我们的G跟我们的下一个状态有关。 这一个状态肯定是指我们的动作状态，也就是Q(st, ?)。问题是，我们的动作应该怎么选择呢？ 1. TD算法的分类 根据之前讨论的结果，TD主要可以分为两类——一类叫做on-policy，另一类叫做off...
【机器学习算法】 Q学习
藓类少女的博客
06-20 2456
Q学习（Q-Learning）是一种基于值的强化学习算法，用于在给定状态下选择动作，以最大化累积奖励。它通过不断更新一个称为Q表（Q-table）的表来学习动作的价值。
Lua table数据结构 算法分析
德玛西亚的专栏
09-28 1085
一、数据结构 1、Node next：当hash冲突时，next = 冲突的node位置 - 应该 2、Table lsizenode：hash数组大小 = 2^lsizenode node ：指向hash部分 arraysize ：数组部分大小 array ：指向数组部分 lastfree ：指向hash表中空闲的节点。每次hash表发生冲突时，都会把节点放在lastfree位置
Sarsa算法讲解及实现
weixin_45774350的博客
02-15 2381
我们使用表格来存储每一个状态 state, 和在这个 state 每个行为 action 所拥有的 Q 值。Q即为Q（s,a）就是在某一时刻的 s 状态下(s∈S)，采取动作a (a∈A)动作能够获得收益的期望，环境会根据agent的动作反馈相应的回报reward r，所以算法的主要思想就是将State与Action构建成一张Q-table来存储Q值，然后根据Q值来选取能够获得最大的收益的动作。
深度学习（6）Sarsa算法
airwolf0992的博客
03-04 1011
Q-Learning的目的是学习到最优的动作价值函数Q⋆Q_\starQ⋆​ SARSA的目的是学习动作价值函数Qπ(s,a)Q_\pi(s,a)Qπ​(s,a) SARSA是State−Action−Reward−State−ActionState-Action-Reward-State-ActionState−Action−Reward−State−Action的简称QπQ_\piQπ​被用来评价策略的优劣，而非用于控制Agent QπQ_\piQπ​与策略函数π\piπ结合使用的模型本称作actor−
强化学习笔记【3】表格型方法（tabular methods）
qq_41030408的博客
07-27 736
该系列主要是听李宏毅老师的《深度强化学习》过程中记下的一些听课心得，除了李宏毅老师的强化学习课程之外，为保证内容的完整性，我还参考了一些其他的课程，包括周博磊老师的《强化学习纲要》、李科浇老师的《百度强化学习》以及多个强化学习的经典资料作为补充。 使用说明 笔记【4】到笔记【11】为李宏毅《深度强化学习》的部分； 笔记 【1】和笔记【2】根据《强化学习纲要》整理而来； 笔记 【3】和笔记【12】根据《百度强化学习》整理而来。 一、Q表格 （1）Q-table MDP包括{S,A,R,...
4.3 SARSA算法
最新发布
2301_80681057的博客
04-02 785
SarsaSarsaSarsa是一种简单而有效的强化学习算法，通过时序差分和εεε-贪婪策略实现了无需模型的策略学习。它在悬崖漫步等环境中表现良好，能够平衡探索与利用，最终收敛到较优策略。
强化学习入门4—Q-learning和Sarsa
小菜羊的博客
08-21 1380
本文是强化学习入门系列的第4篇，主要介绍强化学习当中非常常见的两个时序差分算法：Q-learning和Sarsa。
Q-learning_SARSA算法实现Mountain Car游戏实验的代码实现
11-23
Q-learning 和 SARSA（State-Action-Reward-State-Action）都是强化学习（Reinforcement Learning, RL）中的基于模型的学习策略，用于解决马尔科夫决策过程（Markov Decision Process, MDP）问题。它们通常通过迭代...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值