强化学习笔记-08 Planning and Learning

最新推荐文章于 2025-03-16 11:27:46 发布
最新推荐文章于 2025-03-16 11:27:46 发布
阅读量564 收藏
点赞数
文章标签： 笔记 强化学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tostq/article/details/131007968
版权
文章介绍了在强化学习中如何结合model-based和model-free策略，通过构建可学习的环境模型来提高效率。讨论了Dyna算法及其变体，如Dyna-Q+、PrioritizedSweeping、Expectedvs.SampleUpdates、TrajectorySampling和Real-timeDynamicProgramming。还提到了MonteCarloTreeSearch在解决大规模状态空间问题上的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 前几篇我们介绍了一个重点概念model-base和model-free，其中model-base是建立在存在某个环境模型，从模型中可以获得状态、动作、奖励的转移信息，比如动态规划方法，当我们确定了状态动作的转换概率，此时我们可以通过递归的方式，迅速获得价值函数的估计。

Q(s,a)\\ =\sum P(s',r|s,a)(r+V(s'))\\ =\sum P(s',r|s,a)(r+ \sum \pi (a'|s')Q(s',a'))

在价值函数的更新过程中，一种方式是遍历所有状态-动作来完成更新，但如果状态-动作太多，而某些状态对于我们目标达成完全没有用，遍历所有状态进行更新的效率非常低，另一方面各状态的价值函数更新存在相互依赖，因此其更新顺序也会影响训练的效率，因为所谓的planning是合理地规划状态更新步骤。

而当我们对于环境模型是完全未知时，就必须要通过同环境进行交互采样来获得真实累积收益G_t，然后通过其来更新价值函数，这种方法称为model-free，MC和TD算法就属于此类，其通过采样来学习。这类方法的好处是其获

最低0.47元/天 解锁文章
tostq
关注
【强化学习】 Planning By Dynamic Programming
布纸所云
09-20 289
参考资料 周博磊 Lecture 2: https://github.com/zhoubolei/introRL/blob/master/lecture2.pdf
强化学习(三)：动态规划求解MDP(Planning by Dynamic Programming)
热门推荐
01-18 2万+
上一节主要是引入了MDP(Markov decision process)的各种相关的定义与概念。最后得到了最优状态值函数v∗(s)v_*(s)和最优状态动作值函数q∗(s,a)q_*(s,a)的定义与公式。这一节主要是在已知模型的情况下利用动态规划来进行强化学习求解v∗(s)v_*(s)和q∗(s,a)q_*(s,a)。什么叫已知模型的情况？就是说上一节讲到的S,A,P,R,γ>，这些都是已知的
深入理解强化学习——学习（Learning）、规划（Planning）、探索（Exploration）和利用（Exploitation）
冯·诺依曼
10-17 1285
一个常用的强化学习问题解决思路是，先学习环境如何工作，也就是了解环境工作的方式，即学习得到一个模型，然后利用这个模型进行规划。如下图所示，在规划中，环境是已知的，智能体被告知了整个环境的运作规则的详细信息。如下图所示，在强化学习中，环境初始时是未知的，智能体不知道环境如何工作，它通过不断地与环境交互，逐渐改进策略。[2] Richard S. Sutton, Andrew G. Barto. 强化学习（第2版）[M]. 电子工业出版社, 2019。
强化学习基础篇——规划与学习
最新发布
weixin_73605337的博客
03-16 865
规划（Planning）基于环境模型（Model），通过模拟生成状态-动作序列，计算最优策略。典型方法包括动态规划（DP）和蒙特卡洛树搜索（MCTS）。
深度强化学习（三）Planning by Dynamic Programming
forever_008的博客
02-11 394
这里说的 Dynamic Programming 实际是工行就是我们算法中所说的动态规划，为了在以后在看到 Dynamic Programming 不再陌生，这里统一使用 Dynamic Programming，简写为（DP） 博客网站 一、Introduction 1) 什么是 DP Dynamic：问题的序列或者时间组成部分（sequential or temporal component to the problem） Programming：优化一个“程序”，比如一个策略（Policy）.
强化学习的规划与决策
AI天才研究院
12-27 1108
1.背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能技术，它旨在解决自主地学习从经验中取得知识的智能体的问题。强化学习的核心思想是通过在环境中执行行为并接收到相应的奖励来学习一个策略，这个策略将指导智能体在未来的行为。强化学习的主要应用领域包括机器学习、人工智能、自动化、金融、医疗等。 强化学习的主要组成部分包括智能体、环境、状态、动作、奖励和策略等。智...
《强化学习Sutton》读书笔记（七）——列表法的计划与学习（Planning and Learning with Tabular Methods）
yucong96的博客
09-12 955
此为第八章 Planning and Learning with Tabular Methods 。 在上述章节中，我们已经看到了DP是基于模型 (Model-Based) 的，而MC和TD是模型无关的 (Model-Free) 。基于模型的方法中，Planning（下文定义这个词）是最主要的一步；而对于模型无关的问题，Learning是最核心的步骤。Planning和Learning有很多异同...
强化学习笔记 - 00 - 术语和数学符号
xl.zhang的博客
11-13 4309
基本概念 Agent - 本体。学习者、决策者。 Environment - 环境。本体外部的一切。 - 状态(state)。一个表示环境的数据。 - 所有状态集合。环境中所有的可能状态。 - 行动(action)。本体可以做的动作。 - 所有行动集合。本体可以做的所有动作。 - 状态的行动集合。本体在状态下，可以做的所有动作。 - 奖赏(reward)。本体在一个行动后，获得的奖赏。 - 所有...
【书籍阅读】-人在回路机器学习 Human-in-the-Loop Machine Learning（一）
春天
03-25 6403
Human-in-the-loop 最近在看这本书，记一些笔记帮助梳理。 基本上是 重点部分翻译+梳理+自己的理解。 （最开始在知乎上看到有人写这本书的笔记，但是好像后面断更了，所以就自己写啦，希望可以坚持看完hh） 文章目录PART 1: First StepsChapter 1. Introduction to Human-in-the-Loop Machine Learning1.1 The basic principles of Human-in-the-Loop Machine Learning
David Silver-强化学习笔记【1.强化学习介绍】
weixin_41577426的博客
05-30 908
David Silver-强化学习笔记【1.强化学习介绍】1.1 强化学习特点1.2 RL相关术语1.2.1 reward1.2.2 environment1.2.3 state 1.1 强化学习特点 不存在监督者，训练过程就是试错的过程，根据奖励信号指导行为，不需要提前知道环境的信息（比如不需要提前知道游戏的信息，通过试错知道如何获得高分）。 反馈可能存在延时，一个episode结束后才修正决策，并不是立马修正。（也可以即时反馈吧？） 研究时间序列的行为，而不是独立同分布的数据。需要一个动态的系统，a
强化学习笔记-04 动态规划Dynamic Programming
tostq的专栏
03-18 531
Reinforcement Learning- An introduction，Dynamic Programming， ，Gambler’s Problem，ValueIteration，Generalized Policy Iteration，强化学习，动态规划
强化学习基础学习系列之model-free/planning/model-base/dyna方法总结
foreverkeen
10-17 4398
model-free/planning/model-base/dyna 各种机制的总结介绍前面说的value-base方法（除了动态规划）也好，policy-base的方法也好，都是假设没有模型而直接与实际环境交互来学习的，我们把没有用到模型的方法叫做model-free方法，但并不是说value-base和poli
reinforcement learning，增强学习：Integrating Learning and Planning
mmc2015的专栏
12-04 2424
好长时间没跟新了，这期间有好多事情（华为、微博、算法课），现在把最后几节课拾起来。 上节课内容和本节课内容 1）Model-Free和Model-Based的区别： Model-Free RL： No model Learn value function (and/or policy) from experience Model-Based RL
机器学习（三十六）——Integrating Learning and Planning（2）
antkillerfarm的专栏
11-04 391
Integrating Learning and Planning（续） Table Lookup Model 查表模型适用于MDP的P，R都为已知的情况。我们通过visit得到各状态行为的转移概率和奖励，把这些数据存入表中，使用时直接检索。状态转移概率和奖励计算方法如下： P^s,s′a=1N(s,a)∑t=1T1(St,At,St+1=s,a,s′)\hat{P}^a_{s,s'}=\frac...
强化学习拾遗 —— 再看奖励函数
佚失的诗篇
10-14 1万+
本文介绍设计奖励函数的一般思路及面临的困境，对奖励函数的本质进行分析，从更高的角度建立对奖励函数的深刻认识
强化学习的学习之路（五）_2021-01-05：强化学习中的Exploration和Exploitation、Planning和Learning、Prediction和Control
热爱可抵漫长岁月
01-06 1291
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看优快云的话可能还是喜欢短一点的文章，就把很多拆分开来了，完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ Exploration和Exploitation Exploration: trying ne
大模型系列｜基于大模型复杂数据系统架构（二）
素质云笔记
08-03 2303
大模型下的复杂数据系统架构笔记
自动驾驶端到端规划方法汇总
CV_Autobot的博客
10-30 1153
作者|张云聪 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/662376219点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【规划控制】技术交流群本文只做学术分享，如有侵权，联系删文一、Woven Planet（丰田子公司）的方案：Urban Driver 2021这篇文章是21年的，但一大堆新文章都拿它来做对比...
深度强化学习笔记：加州大学伯克利CS285解析
16. 转移和多任务学习（Transfer and Multi-task Learning）：在强化学习中，利用已学习的知识迁移到新环境或新任务，或者同时学习多个任务以提高学习效率。 17. 分布式RL（Distributed RL）：该方法涉及多个智能体...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值