基于table的Q learning和Sarsa算法

最新推荐文章于 2025-05-14 13:33:44 发布
最新推荐文章于 2025-05-14 13:33:44 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： algorithm RL 文章标签： 增强学习 算法 表格法 RL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dlphay/article/details/78161816
本文介绍了在没有神经网络时，通过表格法实现的强化学习算法，包括Off-policy的Q learning（冒险想象派）和On-policy的Sarsa learning（保守实践派）。这两种算法在决策和更新Q表方面有相似之处，但Sarsa算法在更新时考虑了实际采取的动作。此外，还提到了Sarsa-lambda算法，其Lambda参数决定了更新的强度和未来价值的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Off-policy Q learning算法和On-policy Sarsa learning都是时序差分（TD）下对动作价值函数优化的单步方法，在没有神经网络之前，都是通过table的方法，下面简单介绍一下：

 

最佳决策可以通过遍历所有的情况去得到，有些时候情况比较多元，只能通过部分的情况去学习经验，然后得到一个亚最佳决策（趋近于最佳决策）。

那么如何得到亚最佳决策是我们关心的问题。

 

Off-policy Q learning算法（冒险想象派）：


决策算法：在行为准则Q表（在状态s下所有可以选择动作的价值表）中，遵循e-greedy策略选取最大价值的动作进行执行，重复执行。

更新算法：更新行为准则Q表，通过价值的现实值和估计值。

Gamma值：如果 gamma 从 0 变到 1，对远处的价值看得越清楚, 所以机器人渐渐变得有远见, 不仅仅只看眼前的利益, 也为自己的未来着想。

O

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度强化学习研究笔记（2）——Q-learning（Q-learning问题描述，Q-table方法，一个Python小例子）
越野者的博客
03-16 8073
文章目录1. Q-learning2. 1. Q-learning Q-learning是一种典型的基于价值（Value）函数的强化学习方法，其中的Q是一个数值，通常在初始化时有可能被赋予一个任意数值（因问题场景而异），在迭代时刻ttt，我们有状态sts_tst​，此时代理做出动作ata_tat​，然后得到奖励rtr_trt​，从而进入到一个更新的状态st+1s_{t+1}st+1​，从而Q值得到...
强化学习-Q-learning、SARSA和PPO等算法
timer_017的博客
06-24 597
强化学习是一种机器学习方法，它关注智能体如何通过与环境的交互来最大化期望的累积奖励。在这个过程中，智能体不断尝试不同的行为策略，并根据结果调整策略，以提高长期的性能。
【RL】强化学习小例子 Q table 表单 Q learning 算法
赵继超的笔记
04-26 1987
文章目录0. 任务描述1. 伪代码2. Python 代码实现2.1 初始化一些参数2.2 新建一个空的 Q 表2.3 行为选择2.4 环境反馈2.5 更新环境2.6 主循环Ref: 看了两天书本《深入浅出强化学习》，感觉对概念理解的还是太笼统。鉴于做中学的思想，准备找个小例子跑一跑程序，加深下理解。 找了很多，要么太难，要么太笼统。只找到了莫烦Python老师的这个小例子，不仅有代码，还有视频讲解，感觉很多，跟着大佬学一学。 0. 任务描述 使用的任务是一个1维世界，在世界的右边有宝藏，智能体只要得到宝藏
强化学习（六）时序差分在线控制算法SARSA
最新发布
comli_cn的博客
05-14 836
作为SARSA算法的名字本身来说，它实际上是由S,A,R,S,A几个字母组成的。而S,A,R分别代表状态（State），动作(Action),奖励(Reward)，这也是我们前面一直在使用的符号。这个流程以及价值函数的更新公式体现在下图：在迭代的时候，我们首先基于ϵ\epsilonϵ-贪婪法在当前状态SSS选择一个动作AAA，这样系统会转到一个新的状态S′S'S′，同时给我们一个即时奖励RRR，在新的状态S′S'S′，我们会基于ϵ\epsilonϵ-贪婪法在状态S′。
Q-Learning实现
女王の专属领地
05-07 5885
1、算法： 整个算法就是一直不断更新 Q table 里的值, 然后再根据新的值来判断要在某个 state 采取怎样的 action. Qlearning 是一个 off-policy 的算法, 因为里面的 max action 让 Q table 的更新可以不基于正在经历的经验(可以是现在学习着很久以前的经验,甚至是学习他人的经验). 不过这一次的例子, 我们没有运用到 off-policy
Q-Learning和Sarsa Table
Data _designer
04-08 265
import numpy as np import pandas as pd import time np.random.seed(2) # reproducible N_STATES = 6 # the length of the 1 dimensional world ACTIONS = ['left', 'right'] # available actions EPSILON = 0.9 # greedy police ALPHA = 0.1 # learning r.
tabular Q-learning 二维空间搜索小例子
zhpwhy的博客
02-15 1567
莫烦python的强化学习教程中tabular Q-learning小例子是一个一维的空间，原文链接https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/2-1-general-rl/，本文将其改进为二维空间，代码如下. # -*- coding: utf-8 -*- """ Created...
SARSA.rar_SARSA MATLAB_mountaincar sarsa _qlearning_sarsa_sarsa
07-13
通过运行这些文件，你可以观察SARSA算法在`mountaincar`问题上的性能，理解其与Q-Learning的异同，以及在不同参数设置下的表现。这不仅有助于深入理解SARSA算法，也有助于提升在强化学习领域的实践能力。
强化学习中，Q-Learning与Sarsa的差别有多大？
行者AI
08-18 1042
我相信，从某种意义上讲，强化学习是人工智能的未来。 ——强化学习之父，Richard Sutton 简单来说就是，智能体通过强化学习，可以知道自己在什么状态下，应该采取什么样的动作使得自身获得最大奖励。强化学习分为在线学习和离线学习，本文以Q-learning(离线)和Sarsa(在线)出发，浅谈两者异同。 1. 简述Q-learning Q-Learning是强化学习算法中Value-based中的一种算法，Q即为Q(s,a)就是在某一时刻的s状态下(s∈S)，采取动作a (a∈A)动作能够获
Q-Learning 、Sarsa与 DQN算法
XiaoFengsen的博客
07-23 4055
主要介绍了Q-Learning 算法与 DQN 算法的原理与异同点
【RL】深入TD：基于QTable的SARSA和QLearning
qq_43338695的博客
02-09 448
之前的一篇博文提到TD是我们现在用得非常多的一种算法。它的公式如下： 之前一片博文讲到就讲到这里为止。我们并没有具体地提到我们该如何计算G。只讲了，我们的G跟我们的下一个状态有关。 这一个状态肯定是指我们的动作状态，也就是Q(st, ?)。问题是，我们的动作应该怎么选择呢？ 1. TD算法的分类 根据之前讨论的结果，TD主要可以分为两类——一类叫做on-policy，另一类叫做off...
【机器学习算法】 Q学习
藓类少女的博客
06-20 2342
Q学习（Q-Learning）是一种基于值的强化学习算法，用于在给定状态下选择动作，以最大化累积奖励。它通过不断更新一个称为Q表（Q-table）的表来学习动作的价值。
Lua table数据结构 算法分析
德玛西亚的专栏
09-28 1041
一、数据结构 1、Node next：当hash冲突时，next = 冲突的node位置 - 应该 2、Table lsizenode：hash数组大小 = 2^lsizenode node ：指向hash部分 arraysize ：数组部分大小 array ：指向数组部分 lastfree ：指向hash表中空闲的节点。每次hash表发生冲突时，都会把节点放在lastfree位置
sarsa算法和qlearning算法的不同之处的详细深入探讨(集百家所论)
chen的博客
10-11 2583
SARSA（State-Action-Reward-State-Action）算法和Q-learning（Quality-learning）算法都是强化学习中的常见算法，用于训练智能代理在环境中学习并制定最佳策略。它们有一些关键的不同之处：总之，SARSA和Q-learning都是强化学习中有用的算法，但它们在更新时刻、策略选择、收敛性和稳定性等方面存在不同。选择使用哪个算法通常取决于具体的问题和需求。
强化学习：Sarsa 算法
qq_50086023的博客
01-02 757
在强化学习中 Sarsa 和 Q learning 类似 。
Bourne强化学习笔记2：彻底搞清楚什么是Q-learning与Sarsa
linyijiong的博客
08-12 5073
为了理清强化学习中最经典、最基础的算法——Q-learning，根据ADEPT的学习规律（Analogy / Diagram / Example / Plain / Technical Definition），本文努力用直观理解、数学方法、图形表达、简单例子和文字解释来展现其精髓之处。区别于众多Q-learning讲解中的伪代码流程图，本文将提供可视化的算法流程图帮助大家学习、对比Q-learni...
【强化学习】Q-Learning算法详解
热门推荐
shura的技术空间
06-19 32万+
QLearning是强化学习算法中值迭代的算法，Q即为Q（s,a）就是在某一时刻的 s 状态下(s∈S)，采取 a (a∈A)动作能够获得收益的期望，环境会根据agent的动作反馈相应的回报reward r，所以算法的主要思想就是将State与Action构建成一张Q-table来存储Q值，然后根据Q值来选取动作获得较大的收益。
强化学习之二：Q-Learning原理及表与神经网络的实现（Q-Learning with Tables and Neural Networks）
MapleStory的博客
01-07 1万+
本文是对Arthur Juliani在Medium平台发布的强化学习系列教程的个人中文翻译。（This article is my personal translation for the tutorial written and posted by Arthur Juliani on Medium.com。） 原文地址（URL for original article）：https://med
Q-learning算法实践
gao2175的博客
10-24 1万+
我们将会应用 Q-learning 算法完成一个经典的 Markov 决策问题 -- 走迷宫！ 项目描述： 在该项目中，你将使用强化学习算法，实现一个自动走迷宫机器人。 如上图所示，智能机器人显示在右上角。在我们的迷宫中，有陷阱（红色炸弹）及终点（蓝色的目标点）两种情景。机器人要尽量避开陷阱、尽快到达目的地。 小车可执行的动作包括：向上走u、向右走r、向下走d、向左走...
Q-learning_SARSA算法实现Mountain Car游戏实验的代码实现
11-23
Q-learning 和 SARSA（State-Action-Reward-State-Action）都是强化学习（Reinforcement Learning, RL）中的基于模型的学习策略，用于解决马尔科夫决策过程（Markov Decision Process, MDP）问题。它们通常通过迭代的方式更新Q值表（或Q函数），以便找到从给定状态到目标状态的最优动作路径。 要在Python中用这两种算法实现山车（Mountain Car）游戏，你可以使用`gym`库，它是OpenAI Gym项目的一部分，提供了一系列经典控制任务，包括Mountain Car。以下是一个简化的例子，展示了如何使用Q-learning或SARSA来解决这个游戏： ```python import gym import numpy as np # 创建环境 env = gym.make('MountainCar-v0') # 初始化参数 alpha = 0.5 # 学习率 gamma = 0.9 # 折扣因子 epsilon = 0.1 # 探索概率 num_episodes = 10000 # 总的训练次数 max_steps = env.spec.timestep_limit # 每个episode的最大步数 # Q-table初始化 q_table = np.zeros([env.observation_space.n, env.action_space.n]) for episode in range(num_episodes): state = env.reset() done = False for step in range(max_steps): if np.random.rand() < epsilon: action = env.action_space.sample() # 随机选择动作 else: action = np.argmax(q_table[state]) # 根据Q-value选择动作 next_state, reward, done, _ = env.step(action) if not done: # Q-learning update q_table[state, action] += alpha * (reward + gamma * np.max(q_table[next_state]) - q_table[state, action]) else: # 奖励终止状态 q_table[state, action] += alpha * reward state = next_state if done: break env.close() # 现在你可以查看优化后的Q-table，或通过Q-table来进行策略执行 ``` 请注意，这只是一个基础的框架，实际应用中你可能需要对探索-利用策略、记忆存储（如经验回放）等进行调整。此外，为了提高性能，可以使用更复杂的实现，比如优先队列或深度学习方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值