基于table的Q learning和Sarsa算法

最新推荐文章于 2025-05-14 13:33:44 发布
最新推荐文章于 2025-05-14 13:33:44 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： algorithm RL 文章标签： 增强学习 算法 表格法 RL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dlphay/article/details/78161816
本文介绍了在没有神经网络时，通过表格法实现的强化学习算法，包括Off-policy的Q learning（冒险想象派）和On-policy的Sarsa learning（保守实践派）。这两种算法在决策和更新Q表方面有相似之处，但Sarsa算法在更新时考虑了实际采取的动作。此外，还提到了Sarsa-lambda算法，其Lambda参数决定了更新的强度和未来价值的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Off-policy Q learning算法和On-policy Sarsa learning都是时序差分（TD）下对动作价值函数优化的单步方法，在没有神经网络之前，都是通过table的方法，下面简单介绍一下：

 

最佳决策可以通过遍历所有的情况去得到，有些时候情况比较多元，只能通过部分的情况去学习经验，然后得到一个亚最佳决策（趋近于最佳决策）。

那么如何得到亚最佳决策是我们关心的问题。

 

Off-policy Q learning算法（冒险想象派）：


决策算法：在行为准则Q表（在状态s下所有可以选择动作的价值表）中，遵循e-greedy策略选取最大价值的动作进行执行，重复执行。

更新算法：更新行为准则Q表，通过价值的现实值和估计值。

Gamma值：如果 gamma 从 0 变到 1，对远处的价值看得越清楚, 所以机器人渐渐变得有远见, 不仅仅只看眼前的利益, 也为自己的未来着想。

O

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度强化学习研究笔记（2）——Q-learning（Q-learning问题描述，Q-table方法，一个Python小例子）
越野者的博客
03-16 8073
文章目录1. Q-learning2. 1. Q-learning Q-learning是一种典型的基于价值（Value）函数的强化学习方法，其中的Q是一个数值，通常在初始化时有可能被赋予一个任意数值（因问题场景而异），在迭代时刻ttt，我们有状态sts_tst​，此时代理做出动作ata_tat​，然后得到奖励rtr_trt​，从而进入到一个更新的状态st+1s_{t+1}st+1​，从而Q值得到...
强化学习-Q-learning、SARSA和PPO等算法
timer_017的博客
06-24 601
强化学习是一种机器学习方法，它关注智能体如何通过与环境的交互来最大化期望的累积奖励。在这个过程中，智能体不断尝试不同的行为策略，并根据结果调整策略，以提高长期的性能。
【RL】强化学习小例子 Q table 表单 Q learning 算法
赵继超的笔记
04-26 1989
文章目录0. 任务描述1. 伪代码2. Python 代码实现2.1 初始化一些参数2.2 新建一个空的 Q 表2.3 行为选择2.4 环境反馈2.5 更新环境2.6 主循环Ref: 看了两天书本《深入浅出强化学习》，感觉对概念理解的还是太笼统。鉴于做中学的思想，准备找个小例子跑一跑程序，加深下理解。 找了很多，要么太难，要么太笼统。只找到了莫烦Python老师的这个小例子，不仅有代码，还有视频讲解，感觉很多，跟着大佬学一学。 0. 任务描述 使用的任务是一个1维世界，在世界的右边有宝藏，智能体只要得到宝藏
强化学习（六）时序差分在线控制算法SARSA
最新发布
comli_cn的博客
05-14 838
作为SARSA算法的名字本身来说，它实际上是由S,A,R,S,A几个字母组成的。而S,A,R分别代表状态（State），动作(Action),奖励(Reward)，这也是我们前面一直在使用的符号。这个流程以及价值函数的更新公式体现在下图：在迭代的时候，我们首先基于ϵ\epsilonϵ-贪婪法在当前状态SSS选择一个动作AAA，这样系统会转到一个新的状态S′S'S′，同时给我们一个即时奖励RRR，在新的状态S′S'S′，我们会基于ϵ\epsilonϵ-贪婪法在状态S′。
Q-Learning实现
女王の专属领地
05-07 5886
1、算法： 整个算法就是一直不断更新 Q table 里的值, 然后再根据新的值来判断要在某个 state 采取怎样的 action. Qlearning 是一个 off-policy 的算法, 因为里面的 max action 让 Q table 的更新可以不基于正在经历的经验(可以是现在学习着很久以前的经验,甚至是学习他人的经验). 不过这一次的例子, 我们没有运用到 off-policy
Q-Learning和Sarsa Table
Data _designer
04-08 265
import numpy as np import pandas as pd import time np.random.seed(2) # reproducible N_STATES = 6 # the length of the 1 dimensional world ACTIONS = ['left', 'right'] # available actions EPSILON = 0.9 # greedy police ALPHA = 0.1 # learning r.
tabular Q-learning 二维空间搜索小例子
zhpwhy的博客
02-15 1567
莫烦python的强化学习教程中tabular Q-learning小例子是一个一维的空间，原文链接https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/2-1-general-rl/，本文将其改进为二维空间，代码如下. # -*- coding: utf-8 -*- """ Created...
SARSA.rar_SARSA MATLAB_mountaincar sarsa _qlearning_sarsa_sarsa
07-13
通过运行这些文件，你可以观察SARSA算法在`mountaincar`问题上的性能，理解其与Q-Learning的异同，以及在不同参数设置下的表现。这不仅有助于深入理解SARSA算法，也有助于提升在强化学习领域的实践能力。
强化学习中，Q-Learning与Sarsa的差别有多大？
行者AI
08-18 1042
我相信，从某种意义上讲，强化学习是人工智能的未来。 ——强化学习之父，Richard Sutton 简单来说就是，智能体通过强化学习，可以知道自己在什么状态下，应该采取什么样的动作使得自身获得最大奖励。强化学习分为在线学习和离线学习，本文以Q-learning(离线)和Sarsa(在线)出发，浅谈两者异同。 1. 简述Q-learning Q-Learning是强化学习算法中Value-based中的一种算法，Q即为Q(s,a)就是在某一时刻的s状态下(s∈S)，采取动作a (a∈A)动作能够获
Q-Learning 、Sarsa与 DQN算法
XiaoFengsen的博客
07-23 4057
主要介绍了Q-Learning 算法与 DQN 算法的原理与异同点
【RL】深入TD：基于QTable的SARSA和QLearning
qq_43338695的博客
02-09 450
之前的一篇博文提到TD是我们现在用得非常多的一种算法。它的公式如下： 之前一片博文讲到就讲到这里为止。我们并没有具体地提到我们该如何计算G。只讲了，我们的G跟我们的下一个状态有关。 这一个状态肯定是指我们的动作状态，也就是Q(st, ?)。问题是，我们的动作应该怎么选择呢？ 1. TD算法的分类 根据之前讨论的结果，TD主要可以分为两类——一类叫做on-policy，另一类叫做off...
【机器学习算法】 Q学习
藓类少女的博客
06-20 2345
Q学习（Q-Learning）是一种基于值的强化学习算法，用于在给定状态下选择动作，以最大化累积奖励。它通过不断更新一个称为Q表（Q-table）的表来学习动作的价值。
Lua table数据结构 算法分析
德玛西亚的专栏
09-28 1042
一、数据结构 1、Node next：当hash冲突时，next = 冲突的node位置 - 应该 2、Table lsizenode：hash数组大小 = 2^lsizenode node ：指向hash部分 arraysize ：数组部分大小 array ：指向数组部分 lastfree ：指向hash表中空闲的节点。每次hash表发生冲突时，都会把节点放在lastfree位置
【深度强化学习】3. 表格型方法
pprp的博客
10-25 812
【DataWhale打卡】百度的强化学习课程，通俗易懂，主要讲了Q-Learning，例子很多，生动形象。 1. Q-table概念 Q-table类似生活手册，在遇到一种特定的状态，会提供不同的动作，并且可以知道对应的价值。 Q(S,A) Q(S,A) Q(S,A) 我们可以为每一个状态（state）上进行的每一个动作（action）计算出最大的未来奖励（reward）的期望。 2. SARSA [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aHbnixuN-1603639
强化学习简单示例——SARSA算法
贾维斯的小屋
11-29 9340
【注】我也是刚刚接触强化学习的内容，对这部分理解不是很透彻，代码写的可能也会有不对或不完善的地方，还请各位批评指正。这个问题是个作业，这是我自己编的代码，老师提供的答案出来后再更。 【问题描述】 图中S为起点，G为终点，每次能前、后、左、右、左前、左后、右前、右后移动。当到达第4-9列的某一列时，会在某一状态的基础上向上被吹一格。如某一时刻到达了第4行第4列，则会被吹到第3行第4列。在
表格型方法Sarsa和Q-Learning算法
weixin_43800761的博客
07-22 1406
一、Q表格 我们可以用状态动作价值来表达说在某个状态下，为什么动作 1 会比动作 2 好，因为动作 1 的价值比动作 2 要高，这个价值就叫 Q 函数。 如果 Q 表格是一张已经训练好的表格的话，那这一张表格就像是一本生活手册。 我们就知道在熊发怒的时候，装死的价值会高一点。在熊离开的时候，我们可能偷偷逃跑的会比较容易获救。 这张表格里面 Q 函数的意义就是我选择了这个动作之后，最后面能不能成功，就是我需要去计算在这个状态下，我选择了这个动作，后续能够一共拿到多少总收益。如果可以预估未来的总收益的大小，我
Q-learning算法实践
gao2175的博客
10-24 1万+
我们将会应用 Q-learning 算法完成一个经典的 Markov 决策问题 -- 走迷宫！ 项目描述： 在该项目中，你将使用强化学习算法，实现一个自动走迷宫机器人。 如上图所示，智能机器人显示在右上角。在我们的迷宫中，有陷阱（红色炸弹）及终点（蓝色的目标点）两种情景。机器人要尽量避开陷阱、尽快到达目的地。 小车可执行的动作包括：向上走u、向右走r、向下走d、向左走...
强化学习(五)：Sarsa算法与Q-Learning算法
热门推荐
01-21 2万+
上一节主要讲了Monte-Carlo learning，TD learning，TD(λ)TD(\lambda)。这三个方法都是为了在给定策略下来估计价值函数V(s)。只不过Monte-Carlo learning需要得到一个完整的episode才能进行一次v值更新，而TD learning则不用，它可以每走一步就更新一次v值。 但是我们的目标是想得到最优策略，所以我们这一讲就是为了通过价值函数
每天学点算法->强化学习->Q_learning走迷宫
Fitz_p的博客
10-08 3167
今天给大家分享如何用Q_learning算法来实现走迷宫,我们的红色方块会一次次的尝试不同的格子,直到落入黑格子,获得惩罚*1;或者走进黄格子,获得奖励*1为止。每一次游戏都会更新Q_table的权重，以实现红色方块下一次能够更加快速的找到黄格子。 本文参照了莫烦python的博客：https://morvanzhou.github.io/tutorials/machine-learning...
Q-learning_SARSA算法实现Mountain Car游戏实验的代码实现
11-23
Q-learning 和 SARSA（State-Action-Reward-State-Action）都是强化学习（Reinforcement Learning, RL）中的基于模型的学习策略，用于解决马尔科夫决策过程（Markov Decision Process, MDP）问题。它们通常通过迭代的方式更新Q值表（或Q函数），以便找到从给定状态到目标状态的最优动作路径。 要在Python中用这两种算法实现山车（Mountain Car）游戏，你可以使用`gym`库，它是OpenAI Gym项目的一部分，提供了一系列经典控制任务，包括Mountain Car。以下是一个简化的例子，展示了如何使用Q-learning或SARSA来解决这个游戏： ```python import gym import numpy as np # 创建环境 env = gym.make('MountainCar-v0') # 初始化参数 alpha = 0.5 # 学习率 gamma = 0.9 # 折扣因子 epsilon = 0.1 # 探索概率 num_episodes = 10000 # 总的训练次数 max_steps = env.spec.timestep_limit # 每个episode的最大步数 # Q-table初始化 q_table = np.zeros([env.observation_space.n, env.action_space.n]) for episode in range(num_episodes): state = env.reset() done = False for step in range(max_steps): if np.random.rand() < epsilon: action = env.action_space.sample() # 随机选择动作 else: action = np.argmax(q_table[state]) # 根据Q-value选择动作 next_state, reward, done, _ = env.step(action) if not done: # Q-learning update q_table[state, action] += alpha * (reward + gamma * np.max(q_table[next_state]) - q_table[state, action]) else: # 奖励终止状态 q_table[state, action] += alpha * reward state = next_state if done: break env.close() # 现在你可以查看优化后的Q-table，或通过Q-table来进行策略执行 ``` 请注意，这只是一个基础的框架，实际应用中你可能需要对探索-利用策略、记忆存储（如经验回放）等进行调整。此外，为了提高性能，可以使用更复杂的实现，比如优先队列或深度学习方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值