强化学习-Q_table-CliffWalking-v0

原创 已于 2024-08-11 16:22:47 修改 · 1k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #开发语言 #强化学习

于 2024-08-11 11:22:14 首次发布

Q-table

上一篇：强化学习-Q_table-FrozenLake-v1

Q ( s i , a i ) = Q ( s i , a i ) + l r ∗ [ r + γ ∗ m a x a ( Q ( s i + 1 , a i + 1 ) ) − Q ( s i , a i ) ] Q(s_i, a_i) = Q(s_i, a_i) + lr * [ r + \gamma * max_{a}(Q(s_{i+1}, a_{i+1})) - Q(s_i, a_i)] Q(si​,ai​)=Q(si​,ai​)+lr∗[r+γ∗maxa​(Q(si+1​,ai+1​))−Q(

最低0.47元/天 解锁文章
GodsLeft
关注
强化学习——基本概念+Q表格
weixin_43242381的博客
11-21 1577
强化学习——Q表格
【强化学习】《Easy RL》- Q-learning - CliffWalking（悬崖行走）代码解读
qq_43557907的博客
08-08 3097
本篇博客的代码来源于蘑菇书《Easy RL》Q学习部分的悬崖行走实战部分，本人在学习的同时对代码进行完整的解读，如有错误之处，烦请指正。task0.py首先学习 task0 部分。
强化学习初探索——Q-table 举例，附可执行Python代码
zugexiaodui的博客
11-29 6742
作为一个非专业初学爱好者，在看了一些强化学习教程之后决定从Q-table入门强化学习。我参考的资料很多，个人感觉下边这个链接https://mp.weixin.qq.com/s/34E1tEQMZuaxvZA66_HRwA讲的不错。之前接触过Q-table的简单理论，但是一直没有实践一下，一写代码才发现很多问题其实自己没有考虑清楚。现在附上一份刚写不久的Q-table代码。详细原理...
【RL】强化学习小例子 Q table 表单 Q learning 算法
赵继超的笔记
04-26 2229
文章目录0. 任务描述1. 伪代码2. Python 代码实现2.1 初始化一些参数2.2 新建一个空的 Q 表2.3 行为选择2.4 环境反馈2.5 更新环境2.6 主循环Ref: 看了两天书本《深入浅出强化学习》，感觉对概念理解的还是太笼统。鉴于做中学的思想，准备找个小例子跑一跑程序，加深下理解。 找了很多，要么太难，要么太笼统。只找到了莫烦Python老师的这个小例子，不仅有代码，还有视频讲解，感觉很多，跟着大佬学一学。 0. 任务描述 使用的任务是一个1维世界，在世界的右边有宝藏，智能体只要得到宝藏
强化学习------Qlearning算法
niulinbiao的博客
10-07 6936
Q learning算法是一种的强化学习算法，Q是quality的缩写，Q函数 Q(state，action)表示在状态state下执行动作action的quality， 也就是能获得的Q value是多少。算法的目标是最大化Q值，通过在状态state下所有可能的动作中选择最好的动作来达到最大化期望reward。Q learning算法使用Q table来记录不同状态下不同动作的预估Q值。
强化学习的Q-Learning算法实现
Kie10的博客
06-24 112
Q-Table通过 Q-Table 可以决定动作的选择，动作执行后得到的环境反馈 （Reward）目的是更新 Q-Table在基于价值的强化学习中，最基本的算法是 Q-Learning 和 Sarsa，其中 Q-Learning 在实际中是应用更加广泛的算法。四个action分为up/down/left/right四个方向，选用-greedy（贪心算法）。
强化学习利用Sarsa以及Q-learning求解CliffWalking问题
今非昔比zhi的博客
12-17 1381
而Sarsa在更新时用epsilon-greedy，收敛到的Q值使得我们得到在epsilon-greedy策略下的最优路径，即图中的Safer path。建模中，掉下悬崖的奖励是-100，G的奖励是10，原地不动的奖励-1，到达非终点位置的奖励是0(与图中的示意图不一致，不过大差不差)，分别使用on-policy策略的Sarsa与off-policy策略的Q-learning算法，经过20000幕进化迭代得出safe path，optimal path，最后根据Q值来得出最终的策略，以此来对上图进行复现。
深度强化学习（3）时序差分学习 & Dyna-Q算法
weixin_58665941的博客
09-13 1189
基于模型的强化学习（model-based reinforcement learning），其中的模型即对环境的状态转移概率和奖励函数进行建模从而得到的环境模型。Dyna-Q就是一个基于模型的强化学习算法，它能够通过Q-planning基于模型生成模拟数据，然后利用模拟数据和真实数据改进策略。在线策略就表示行为策略和目标策略是同一个策略，反之离线策略表示行为策略和目标策略不是同一个策略。多步时序差分指的是使用n步的奖励，然后再用之后的状态价值估计。
[强化学习实战]马尔可夫决策-悬崖寻路python实现
wangyifan123456zz的博客
10-30 6340
马尔可夫决策-悬崖寻路python实现案例分析要点概括环境使用求解Bellman期望方程求解Bellman最优方程总结 案例分析 本节考虑Gym库中的悬崖寻路问题（CliffWalking-v0）。悬崖寻路问题是这样一种回合制问题：在一个4×12的网格中，智能体最开始在左下角的网格，希望移动到右下角的网格。智能体每次可以在上、下、左、右这4个方向中移动一步，每移动一步会惩罚一个单位的奖励。但是，移动有以下限制。 ·智能体不能移出网格。如果智能体想执行某个动作移出网格，那么就让本步智能体不移动。但是这个操作
强化学习笔记【3】表格型方法（tabular methods）
qq_41030408的博客
07-27 743
该系列主要是听李宏毅老师的《深度强化学习》过程中记下的一些听课心得，除了李宏毅老师的强化学习课程之外，为保证内容的完整性，我还参考了一些其他的课程，包括周博磊老师的《强化学习纲要》、李科浇老师的《百度强化学习》以及多个强化学习的经典资料作为补充。 使用说明 笔记【4】到笔记【11】为李宏毅《深度强化学习》的部分； 笔记 【1】和笔记【2】根据《强化学习纲要》整理而来； 笔记 【3】和笔记【12】根据《百度强化学习》整理而来。 一、Q表格 （1）Q-table MDP包括{S,A,R,...
强化学习应用（六）：基于Q-learning算法的无人车配送路径规划（通过Python代码）
01-13 1450
Q-learning是一种强化学习算法，用于解决基于环境的决策问题。它通过学习一个Q-table来指导智能体在不同状态下采取最优动作。下面是Q-learning算法的基本步骤：1. 定义环境：确定问题的状态和动作空间，并创建一个变量来表示环境。2. 初始化Q-table：创建一个Q-table，其大小与状态和动作空间相匹配，并将所有Q值初始化为0。3. 设置超参数：设置一些超参数，如学习率（alpha）、折扣因子（gamma）和探索率（epsilon）。
强化学习：Q表格方法（Qlearning and Sarsa）
weixin_43968987的博客
01-21 1万+
无需要快乐
强化学习笔记：Q_learning （Q-table）示例举例
qq_40206371的博客
12-06 6414
1 示例介绍 在右侧有宝藏，探险者到达宝藏所在的位置，就可以获得奖励 比如某一时刻的状态是这个样子的：“-o---T” T 就是宝藏的位置, o 是探索者的位置 如果在某个地点s1, 探索者计算了他能有的两个行为,Q(s1, a1) > Q(s1, a2), 那么探索者就会选择left这个行为. 否则就是right ‘ 参考内容：小例子 - 强化学习 (Reinforcement Learning) | 莫烦Python (mofanpy.com) 2 导入库& ...
【强化学习入门】III：从Q-learning到DQN
最新发布
K_KK_KK_KK的博客
02-04 1298
深度Q网络（Deep Q-Network, DQN）作为深度强化学习的里程碑式算法，通过将Q-learning与深度神经网络结合，解决了传统强化学习在高维状态空间中的维度灾难问题。本文以“从Q-learning到DQN的核心演进”为脉络展开：首先剖析Q-learning基于动态规划的贝尔曼方程更新机制及其局限性；继而深入探讨DQN如何通过神经网络函数逼近重构Q值估计，并针对训练稳定性问题提出目标网络与经验回放两大核心技术；最终揭示DQN在实现端到端决策智能中的理论意义与实践价值。
强化学习笔记1-最简单强化学习例子Q-learning
liuxf570的博客
07-17 185
最简单强化学习例子Q-learning，基于Python 3.9平台调试通过
深度强化学习研究笔记（2）——Q-learning（Q-learning问题描述，Q-table方法，一个Python小例子）
越野者的博客
03-16 8169
文章目录1. Q-learning2. 1. Q-learning Q-learning是一种典型的基于价值（Value）函数的强化学习方法，其中的Q是一个数值，通常在初始化时有可能被赋予一个任意数值（因问题场景而异），在迭代时刻ttt，我们有状态sts_tst​，此时代理做出动作ata_tat​，然后得到奖励rtr_trt​，从而进入到一个更新的状态st+1s_{t+1}st+1​，从而Q值得到...
强化学习Q_learning理解与代码实现
桔梗的眼泪博客
03-17 5985
最近研究强化学习，结合莫凡大神的视频与众多优秀的博客给出自己的理解 上代码 import numpy as np import pandas as pd import time from rope.refactor.importutils import actions from bokeh.layouts import column from sympy.physics.units.dime...
强化学习之二：Q-Learning原理及表与神经网络的实现（Q-Learning with Tables and Neural Networks）
MapleStory的博客
01-07 1万+
本文是对Arthur Juliani在Medium平台发布的强化学习系列教程的个人中文翻译。（This article is my personal translation for the tutorial written and posted by Arthur Juliani on Medium.com。） 原文地址（URL for original article）：https://med
强化学习之Q-learning简介
热门推荐
YoungGy的专栏
06-20 6万+
强化学习在alphago中大放异彩，本文将简要介绍强化学习的一种q-learning。先从最简单的q-table下手，然后针对state过多的问题引入q-network，最后通过两个例子加深对q-learning的理解。
q-learning实现cliffwalking-v0代码python
04-26
以下是使用Q-learning算法实现Cliff Walking游戏的Python代码： ```python import numpy as np import gym env = gym.make("CliffWalking-v0") num_states = env.observation_space.n num_actions = env.action_space.n Q = np.zeros((num_states, num_actions)) num_episodes = 5000 epsilon = 0.1 alpha = 0.5 gamma = 0.99 for i in range(num_episodes): observation = env.reset() done = False while not done: if np.random.uniform() < epsilon: action = env.action_space.sample() else: action = np.argmax(Q[observation, :]) next_observation, reward, done, info = env.step(action) Q[observation, action] = Q[observation, action] + alpha * (reward + gamma * np.max(Q[next_observation, :]) - Q[observation, action]) observation = next_observation print("Q-table:") print(Q) def play(Q): observation = env.reset() done = False while not done: env.render() action = np.argmax(Q[observation, :]) observation, reward, done, info = env.step(action) env.render() print("Reward:", reward) play(Q) ``` 请注意，这段代码使用OpenAI Gym库中的Cliff Walking环境，并使用Q-learning算法实现Agent的决策过程。Agent的决策基于Q值函数，使用epsilon贪心策略探索和exploitation。代码训练Q表格并输出结果，最后演示游戏并输出最终的奖励。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值