强化学习(reinforcement learning)学习笔记(二)——值迭代与策略迭代

最新推荐文章于 2025-07-02 12:27:55 发布
原创 最新推荐文章于 2025-07-02 12:27:55 发布 · 置顶 · 1.4w 阅读 · 49 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#动态规划 #强化学习 #值迭代 #策略迭代 #算法

上一次我分享了强化学习相关基础概念，推导了Bellman方程。这次我们来学习求解强化学习模型的2种思路——值迭代与策略迭代

动态规划

这里面我要简单介绍一下动态规划，因为严格来说，值迭代与策略迭代是用来解决动态规划问题的两种规划方法。而强化学习又有另外一个昵称——就是拟动态规划。说白了强化学习就是模拟动态规划算法。

用一句话来总结动态规划就是，对一个复杂问题给出一个一般性的解决办法。它主要由两个性质:

  1. 最优子结构：最优解法能被分解到多个子问题中
  2. 重叠子问题：子问题能重复多次且解法能被重复利用

马尔科夫决策过程（MDP）满足以上两个性质，所以任何MDP都可以用动态规划来解。动态规划与强化学习的区别就是动态规划假设MDP模型是全知的（即参数可知） 而 强化学习可以使MDP未知。

MDP需要解决的问题有两种，第一种是prediction，它已知MDP的S,A,P,R,γ以及policy，目标是算出在每个状态下的value function(值函数其实就是问题的目标，一般都是跟reward有关的函数，例如Atari小游戏，一般值函数就是累计的得分的期望。目标一般就是最大化这个值函数。而第二种是control，它已知MDP的S,A,P,R,

最低0.47元/天 解锁文章

200万优质内容无限畅学
『大模型笔记』人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
AI新视界
08-09 748
人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
MATLAB - 强化学习（Reinforcement Learning）
weixin_46300916的博客
08-12 2560
控制系统环境是表示动态系统的环境，其中的状态和观测通常属于无限（不可数）的数值向量空间。在这种环境中，状态转换规律是确定性的，通常是通过对所要建模的底层物理系统的动力学进行离散化推导出来的。请注意，在这些环境中，动作仍然可以属于有限集合。强化学习工具箱提供了多个预定义的控制系统环境对象，用于模拟双积分器或小车摆杆系统等动态系统。一般来说，每个预定义环境都有两个版本，一个是离散（有限）动作空间，另一个是连续（无限和不可数）动作空间。
基于“蘑菇书”的强化学习知识点（六）：策略迭代和价值迭代来解决马尔可夫决策过程的控制问题。
xzs1210652636的博客
02-05 891
策略迭代和价值迭代来解决马尔可夫决策过程的控制问题。
值迭代和策略迭代详解
weixin_52101154的博客
01-07 2174
强化学习中的两个核心算法——值迭代（Value Iteration）和策略迭代（Policy Iteration）——是解决马尔可夫决策过程（MDP）问题的经典方法。本文将详细介绍这两种算法的原理和区别。
强化学习 （9）值迭代与策略迭代
最新发布
m0_69704099的博客
07-02 391
S. Zhao. Mathematical Foundations of Reinforcement Learning. Springer Nature Press, 2025. 【【强化学习的数学原理】课程：从零开始到透彻理解（完结）】当截断策略评估的迭代次数 m=1 时，截断策略迭代退化为值迭代（Value Iteration）policy improvement 求解优化问题。policy evaluation 对于每个策略。不是state value，只是一个值。为什么该迭代算法会找到最优策略？
强化学习——值迭代和策略迭代
weixin_30819163的博客
09-17 899
【强化学习】值迭代和策略迭代 在强化学习中我们经常会遇到策略迭代与值迭代，但是很多人都搞不清楚他们两个之间的区别，他们其实都是强化学习中的动态规划方法（DP）。 ——《Reinforcement Learning:An Introduction》 （一）值迭代 对每一个当前状态 s ,对每个可能的动作 a 都计算一下采取这个动作后到达的下一个状态的期望价值。看看哪个动作可以...
学习心得-强化学习【值迭代与策略迭代】
weixin_45739351的博客
03-14 1085
强化学习基础
值迭代、策略迭代
xtingjie的博客
04-29 8722
值函数策略: 状态s到动作a的映射：π:S→A\pi:S\rightarrow A 值函数：值函数都是对应于特定的策略的，即VπV^\pi 对于策略π\pi，状态s的值函数：Vπ(s)=E[R(s0)+γR(s1)+γ2R(s2)+...|s0=s,π].V^\pi(s)=E[R(s_0)+\gamma R(s_1)+\gamma^2 R(s_2)+...|s_0=s,\pi].也可表示为Bel
【强化学习】强化学习数学基础：值迭代与策略迭代
小哲的博客
02-28 2530
强化学习数学基础：值迭代与策略迭代
​李宏毅机器学习——强化学习Reinforcement Learning
iwill323的博客
10-31 3227
​李宏毅机器学习-- ​强化学习
【机器学习】Reinforcement Learning-强化学习基础算法
长相忆兮长相忆的专栏
01-28 4313
强化学习（Reinforcement Learning, RL），又称增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。...
【强化学习】值迭代与策略迭代
热门推荐
shura的技术空间
06-21 2万+
引自Reinforcement Learning:An Introduction强化学习名著2018新编版 在强化学习中我们经常会遇到策略迭代与值迭代，但是很多人都搞不清楚他们两个之间的区别，他们其实都是强化学习中的动态规划方法。 科普：动态规划dynamic programming简称（DP） 【强化学习】值迭代与策略迭代 在强化学习中，要求一个完全已知的环境模型，所谓完...
强化学习-Chapter4-值迭代和策略迭代
Rsbstep的博客
03-15 337
根据收缩函数的性质，可以得到贝尔曼最优方程的求解方式：上式的可以任意取值，最终可以成功找到最优的策略，这个算法称为值迭代可以分成两步：步骤一：策略更新：解释：对于任意取值的，即初始化可以任取状态值，我们能算出每个状态下采用不同action得到的action value，即q(v,a)，那么我们选取最大的q(v,a)对应的action，作为新的策略步骤二：值更新：解释：由步骤一得到的新策略，那么根据这个新策略，我们可以算出这个策略下的（因为是由该策略下采取的action的reward即。
值迭代和策略迭代【强化学习】
v20000727的博客
03-22 2670
值迭代和策略迭代是强化学习中两种基本的方法，用于解决马尔可夫决策过程（MDP）的优化问题。它们都旨在找到一个最优的策略，以在给定环境下实现最大的累积奖励。
策略迭代与值迭代的区别
Allure Love的博客
09-11 3603
策略迭代与值迭代都属于强化学习里面策略求解中的动态规划方法。其区别是什么呢。 首先看一张图片：  首先看策略迭代：    １.initialization  初始化所有状态的v(s)以及π(s)（初始化为随机策略） 2.poicy evaluation  用当前的v(s)对当前策略进行评估，计算出每一个状态的v(s)，直到v(s)收敛，才算训练好了这个状态价值函数V(s) 3.policy...
强化学习三、策略迭代与值迭代
wshzd的博客
12-03 5586
本文参考http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html 上一次已经分享了强化学习的概念以及基本的MDP，本节将分享基于Bellman方程和动态规划的策略迭代和值迭代，对于Bellman方程，大家都比较清楚了，那么我们先介绍一下动态规划算法的基本原理 一、动态规划 这里面我要简单介绍一下动态规划，因为严格来说，值迭代与策略迭代...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值