强化学习（七）时序差分离线控制算法Q-Learning

最新推荐文章于 2025-07-22 08:42:51 发布
最新推荐文章于 2025-07-22 08:42:51 发布
阅读量809 收藏 9
点赞数 20
CC 4.0 BY-SA版权
分类专栏： 强化学习 文章标签： 人工智能 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/comli_cn/article/details/147980243

微信公众号、知乎号（同名）：李歪理，欢迎大家关注

在强化学习（六）时序差分在线控制算法SARSA中我们讨论了时序差分的在线控制算法SARSA，而另一类时序差分的离线控制算法还没有讨论，因此本文我们关注于时序差分离线控制算法，主要是经典的Q-Learning算法。

1. Q-Learning算法的引入

Q-Learning算法是一种使用时序差分求解强化学习控制问题的方法，回顾下此时我们的控制问题可以表示为：给定强化学习的5个要素：

状态集 SSS, 动作集 AAA

了解本专栏 订阅专栏 解锁全文 超级会员免费看
8. 图解Q-learning与深度强化学习DQN
weixin_40614311的博客
01-28 1103
深度Q网络
强化学习（六）时序差分在线控制算法SARSA
wenyusuran的专栏
07-31 1339
　在强化学习（五）用时序差分法（TD）求解中，我们讨论了用时序差分来求解强化学习预测问题的方法，但是对控制算法的求解过程没有深入，本文我们就对时序差分的在线控制算法SARSA做详细的讨论。 　　　　SARSA这一篇对应Sutton书的第六章部分和UCL强化学习课程的第五讲部分。 1.SARSA算法的引入 　　　　SARSA算法是一种使用时序差分求解强化学习控制问题的方法，回顾下此时我们的控...
Q-learning和Sarsa
lsjmax的博客
10-17 1116
Q-learning Q-learning是基于TD(0)TD(0)TD(0)的无模型强化学习算法。其采用的价值函数为动作价值函数Q(s,a)。 主要价值函数迭代公式为： Qπ(st,at)=Qπ(st,at)+α(rt+1+γmaxaQ(st+1,at+1)−Q(st,a))Q_π(s_t,a_t)=Q_π(s_t,a_t)+\alpha(r_{t+1}+γmax_aQ(s_{t+1},a_{t...
强化学习基础篇——Q-learning和SARSA
weixin_73605337的博客
03-13 1058
Q-learning 和 SARSA 是强化学习中两种重要的时序差分算法，分别代表了离策略和在策略的学习方法。Q-learning 通过直接学习最优动作价值函数，能够收敛到全局最优策略，但在探索与利用的平衡上可能存在不足。SARSA 则基于当前策略学习动作价值函数，更适合动态环境和需要保守决策的场景。在实际应用中，选择哪种算法取决于具体问题的性质和环境的特点。随着深度强化学习的发展，Q-learning 和 SARSA 的思想也被扩展到更复杂的场景中，例如深度 Q 网络（DQN）和深度 SARSA 算法。
sarsa算法和qlearning算法的不同之处的详细深入探讨(集百家所论)
chen的博客
10-11 2897
SARSA（State-Action-Reward-State-Action）算法和Q-learning（Quality-learning）算法都是强化学习中的常见算法，用于训练智能代理在环境中学习并制定最佳策略。它们有一些关键的不同之处：总之，SARSA和Q-learning都是强化学习中有用的算法，但它们在更新时刻、策略选择、收敛性和稳定性等方面存在不同。选择使用哪个算法通常取决于具体的问题和需求。
RL（七）Sarsa和Q-learning
weixin_42022175的博客
08-20 1875
目录1、sarsa算法1.1为什么叫sarsa?1.2sarsa算法原理1.3 Sarsa算法流程2、Q-learning算法2.1Q-learning算法的引入2.2Q-learning算法原理2.3Q-Learning算法流程3、总结 前面一篇文章我们已经讲了时序差分的基本内容和预测问题的求解办法，但是对于控制问题还有深入了解，这篇文章就是介绍时序差分的控制问题。 1、sarsa算法 时序差分...
Sarsa算法和Q-learning算法
PiggyRuns的博客
06-02 3423
强化学习Sarsa和Q-learning算法，详细流程以及代码实现
一文读懂时序差分算法（Q-learning算法）—强化学习(4)
最新发布
wh1236666的博客
07-22 758
Q-learning 是 “理想主义者”，只追求最终最优；Sarsa 是 “现实主义者”，会考虑实际执行中的每一步。在需要安全探索的场景（如机器人避障），Sarsa 更合适；在追求最终最大奖励的场景（如游戏得分），Q-learning 更有优势。，核心是通过 “试错” 学习在不同状态下选择最优动作，最终找到能获得最大累积奖励的策略。老鼠不管下一步会不会碰壁，只要知道某个方向 “理论上” 能到奶酪就会尝试。老鼠会先看下一步要走的方向是否安全，再决定当前动作是否值得更新。Q-learning 是一种经典的。
强化学习 4 —— 时序差分法（TD）的解决无模型的预测与控制（SARSA and Q-Learning）
靡不有初鲜克有终
08-09 6892
强化学习 4 —— Model Free TD 在上篇文章强化学习 3 ——蒙特卡洛 (MC) 采样法的预测与控制中我们讨论了 Model Free 情况下的策略评估问题，主要介绍了蒙特卡洛（MC）采样法的预测与控制问题，这次我们介绍另外一种方法——时序差分法（TD） 一、时序差分采样法（TD） 对于MC采样法，如果我们没有完整的状态序列，那么就无法使用蒙特卡罗法求解了。当获取不到完整状态序列时， 可以使用时序差分法(Temporal-Difference, TD)。 1、TD 简介 对于蒙特卡洛采样法计算
强化学习-01--Q-learning，Sarsa
weixin_45650561的博客
07-30 228
Q-learning，Sarsa
强化学习（一）--Sarsa与Q-learning算法
qq_37333048的博客
03-15 2546
强化学习（一）--Sarsa与Q-learning算法1. SARSA算法2. Q-learning算法3. 代码实现3.1主函数3.2训练及测试函数3.3 SarsaAgent类的实现3.3.1 sample函数3.3.2 predict函数3.3.3 learn函数3.4 Q-learning算法的改变 最近实验室有一个项目要用到强化学习，在这开个新坑来记录下强化学习的学习过程。 第一节就先来最简单的基于表格型的RL算法，包括经典的Sarsa和Q-learning算法。 由于时间原因，关于算法的理论知识
【强化学习笔记】(1) Q-learning, Sarsa
qq_44389347的博客
04-25 780
强化学习算法笔记
Sarsa 与 Q learning对比
zchang81的博客
08-31 7139
Sarsa 与 Q learning对比
强化学习入门4—Q-learning和Sarsa
小菜羊的博客
08-21 1393
本文是强化学习入门系列的第4篇，主要介绍强化学习当中非常常见的两个时序差分算法：Q-learning和Sarsa。
强化学习之Q-learning和Sarsa
yangyangcome的博客
06-17 922
1）什么是强化学习？   简称RL，理解这一概念结合现实生活中的情况不难理解。这一概念抽象出来分为状态，动作以及奖励。以迷宫为例，状态指的是我当前所处的位置，动作指的是我可以采用何种方式进行移动，当然有的状态中并不能包含所有的动作，因为边界的限制以及各种障碍的限制。   形象一点就是给你安排了一个老师，他只是告诉你具体的分数，你需要根据这些分数做一定的抉择。 2）强化学习的分类   在线学习与离线学习：以人玩耍为例，前者是变更新边玩，本人在场，后者呢，是本人可以不在场，看着别人玩耍。代码中体现的话就是动作的
基于深度强化学习的自适应控制算法
xiehewe的博客
12-22 1936
综上所述，基于深度强化学习的自适应控制算法是一种新兴的控制方法，具有适应性强、鲁棒性好、学习能力强和应用广泛等优势。深度强化学习是一种结合了深度学习和强化学习的方法，可以使机器代理通过与环境的交互来学习最优的行为策略。该策略可以是确定性策略或随机策略，用于指导智能体在环境中的行动。基于深度强化学习的自适应控制算法将深度强化学习应用于控制系统中，通过智能体与环境的交互来学习最优的控制策略。3.3学习能力强：深度强化学习具有强大的学习能力，可以从大规模数据中学习到复杂的控制策略，进而实现高效的自适应控制。
【学习强化学习】三、Q learning和Sarsa算法
weixin_42301220的博客
02-24 1879
文章目录参考资料1. Q- table2. Model-free Prediction2.1 Monte-Carlo Policy Evaluation2.1.1 MC算法步骤2.1.2 incremental MC updates2.1.3 Difference between DP and MC for policy evaluation2.1.4 Advantages of MC over DP2.2 Temporal Difference2.2.1 TD 方法介绍2.2.2 Advantages o
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值