强化学习系列马尔可夫决策过程之贝尔曼方程推导(一)

最新推荐文章于 2025-01-31 21:17:01 发布
最新推荐文章于 2025-01-31 21:17:01 发布
阅读量610 收藏 9
点赞数 1
分类专栏： 强化学习 深度学习 文章标签： 深度学习 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liaozhaocong/article/details/115286968
版权
本文介绍了马尔可夫决策过程的基础，通过动态特征的阐述，揭示了强化学习的最终目标，并结合公式推导，展示了如何积分联合概率。引用了多个学习资源，包括YJLAugus的PPT、David Silver的视频和相关教材。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、背景
在这里插入图片描述
在这里插入图片描述
二、动态特征
一个完整的马尔科夫决策过程如图所示
在这里插入图片描述
在这里插入图片描述
公式2就是将联合概率的一个变量积分（或者叫累加）掉。
2.2 强化学习的最终目的
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

用图表示下公式(8) 如下图所示

最低0.47元/天 解锁文章
（2-3）马尔可夫决策过程（MDP）：贝尔曼方程
码农三叔
02-11 3088
贝尔曼方程（Bellman Equation）是强化学习中的关键方程，用于描述值函数之间的关系。
强化学习（一）——马尔可夫决策过程MDP
LongXinKou的博客
01-21 4173
文章目录1. 基本概念1.1 马尔可夫性质1.2 状态转移矩阵2. 马尔可夫奖励过程2.1 累积奖励与折扣因子2.2 价值函数2.3 贝尔曼方程3. 马尔可夫决策过程MDP3.1 策略3.2 价值函数3.3 贝尔曼方程3.4 实例3.4 最优价值函数(Optimal Value Function)3.5 最优策略（Optimal Policy）3.6 求解贝尔曼最优方程Reference 1. 基本概念 1.1 马尔可夫性质 在时间t+1时，状态仅取决于上一时间t的状态s和动作a，与t-1以及t-1之前的
强化学习经典算法笔记(零)：贝尔曼方程的推导
热门推荐
hhy_csdn的博客
04-09 2万+
强化学习经典算法笔记——推导贝尔曼方程   在写强化学习经典算法笔记(一)：价值迭代算法Value Iteration和强化学习经典算法笔记(二)：策略迭代算法Policy Iteration的时候，感觉关键的部分——为什么要这样进行值（策略）迭代，没有讲清楚，概念有点模糊，所以感觉有必要重新关注一下Bellman Equation的来龙去脉，也是加强自己对这一块内容的理解。 相关概念   在介绍...
强化学习-贝尔曼方程的推导
ncf的博客
09-11 2242
一、贝尔曼方程的推导 以下是贝尔曼方程的推导1，大家可能对14.18的推导很困惑。以下为大家解疑。 式14.15->14.16是最关键的。 Vπ(s)V^{\pi}(s)Vπ(s)的含义是：最初的状态是SSS，执行策略π\piπ的总回报。 那么为什么可以从式14.15->14.16？ 推导的目标是什么？用下一个状态的Vπ(s′)V^{\pi}(s^{'})Vπ(s′)表示Vπ(s)V^{\pi}(s)Vπ(s) （这个有什么用？动态规划问题听过吧！就是这玩意，动态规划能干啥？大大减小计算量。可
贝尔曼方程推导
m0_49122823的博客
04-10 1059
马尔可夫的动态特性： 回报：（两种定义） 或 （折扣率大于等于0小于等于1，折扣率决定了未来收益的现值） 状态价值函数：从状态s开始，智能体按照策略π进行决策所获得回报的概率期望值 动作价值函数： 动作价值函数与状态价值函数的关系： 动作价值函数与马尔可夫的动态特性的关系： 因此贝尔曼方程推导为： 或（原理一样，只不过我当时没看明白书上的推导，所以按照自己的理解根据回溯图手写了一下，其实手写和书上截图的推导是一样一样的） 贝尔曼方程用等式表达了状态价值和后续状态价值之间的关系。 ...
贝尔曼方程-推导与联系
Gideon·K·Marx
04-12 5678
由定义出发，可以得VVV与QQQvπsEa∼π⋅∣sqπsaV−Qvπ​sEa∼π⋅∣s​qπ​sa)]V−QvπsEa∼π⋅∣sEr∣saγEs′∼p⋅∣savπs′V−VqπsaEr∣saγEs′∼p⋅∣savπs′Q−VqπsaEr∣saγEs′∼p⋅∣saE。
贝尔曼方程详尽推导（无跳步|带图）
williamchin的博客
10-11 4327
贝尔曼方程推导（无跳步）  这两天学习MDP，对于贝尔曼方程有很大的困惑，而且找了很多资料都没有详尽的推导，我这里把详尽推导写出来，希望能帮到正在学习的同学们。 Vπ(s)=E[Gt∣St=s]=E[Rt+1+γGt+1∣St=s]=E[Rt+1+γVπ(s′)∣s] \begin{aligned} V_{\pi}(s) &= E[G_t|S_t=s] \\ &= E[R_{t+1} + \gamma G_{t+1}|\pmb{S_t=s}] \\ &= E
【强化学习理论】贝尔曼最优方程公式推导
Mocode的博客
06-12 1048
继贝尔曼期望方程之后，对贝尔曼最优方程的公式推导。结合图文更好理解。
【强化学习】贝尔曼方程
qq_35328355的博客
01-11 831
取了一个期望，期望就是从这个状态开始，我们可能获得多大的价值。所以期望也可以看成未来可能获得奖励的当前价值的表现，就是当我们进入某一个状态后，我们现在有多大的价值。这个意思是，此时的计算只需要关注这一步的奖励，加折扣因子乘以下一步的回报即可。有关，不同的策略价值函数自然也不一样。在一个马尔可夫奖励过程中，从第t时刻状态开始，直到终止状态T时，所有奖励的衰减之和称为。是折扣因子，越往后得到的奖励，折扣越多。关于折扣因子的必要性，以前的笔记已经介绍过。，这是因为价值函数除了与s有关，也与策略。
深度强化学习--01（马尔可夫决策过程、动态规划）
qq_53619846的博客
11-15 501
详细介绍强化学习中的马尔可夫决策过程、动态规划问题
强化学习 DAY1：什么是 RL、马尔科夫决策、贝尔曼方程
最新发布
feifeikon的博客
01-31 1002
如HMM学习最佳范例中所说，有一类现象是确定性的现象，比如红绿灯系统，红灯之后一定是红黄、接着绿灯、黄灯，最后又红灯，每一个状态之间的变化是确定的。
贝尔曼方程的推导
Libetaion的博客
10-21 370
贝尔曼方程推导的关键步骤解析
强化学习： 贝尔曼方程与马尔可夫决策过程
cpluss的博客
12-18 4002
强化学习： 贝尔曼方程与马尔可夫决策过程 一、简介 贝尔曼方程和马尔可夫决策过程是强化学习非常重要的两个概念，大部分强化学习算法都是围绕这两个概念进行操作。尤其是贝尔曼方程，对以后理解蒙特卡洛搜索、时序差分算法以及深度强化学习算法都至关重要。这篇文章主要介绍贝尔曼方程。 常用的资料： 《Reinforcement Learning: An Introduction》 author: Richard S.Sutton and Andrew G.Barto UCL Course: https://www.dav
强化学习系列之一:马尔科夫决策过程
bbbeoy的专栏
01-15 1925
文章目录 [隐藏] 1. 马尔科夫决策过程 2. 策略和价值 3. 最优策略存在性和贝尔曼等式 强化学习系列系列文章       机器学习一共有三个分支，有监督学习、无监督学习和强化学习。强化学习是系统从环境学习以使得奖励最大的机器学习。强化学习和有监督学习的不同在于教师信号。强化学习的教师信号是动作的奖励，有监督学习的教师信号是正确的动作。  
【强化学习】Bellman Equation Derivation （贝尔曼方程的推导）
agent_snail的博客
04-01 837
Bellman Equation Derivation: Return(GtG_{t}Gt​) 说的是把奖励进行折扣后所获得的收益。 State value function(Vt(s)V_{t}(s)Vt​(s))是MRP(Markov Reward Process,<s,r,s′><s, r, s'><s,r,s′>)的return的期望。可以定义为如下形式： V(s)=E[Gt∣st=s]=E[Rt+1+γRt+2+γ2Rt+3+...+γT−t−1RT∣st=s
贝尔曼方程的数学推导（二）
zy20050416的博客
11-07 1684
关于状态价值函数的推导，请见。
“贝尔曼方程”那些事儿:含贝尔曼方程详细推导，通俗易懂
YG的博客
10-09 1897
贝尔曼方程详细推导，抽丝剥茧，讲清楚为什么这么证明
手把手教你强化学习 (三)马尔可夫决策过程与贝尔曼方程
小小何先生的学习之旅
02-22 3342
  在强化学习中，马尔可夫决策过程是对完全可观测的环境进行描述的，也就是说观测到的状态内容完整地包含了决策所需要的特征，几乎所有的强化学习问题都可以转化为MDP。 马尔可夫性   什么样的状态具备马尔可夫性(Markov Property)呢？当某一当前状态可知，所有的历史信息都不再需要，当前状态就可以用来决定未来，则认为该状态具有马尔可夫性。用状态转移的概率公式描述马尔可夫性表示如下： P[St...
状态价值函数的贝尔曼方程推导
07-12
状态价值函数的贝尔曼方程可以通过动态规划的思想推导出来。我们先来看一下状态价值函数的定义： 状态价值函数 V(s) 表示在状态 s 下，从当前时刻开始，按照某个策略 π 执行动作，所能获得的长期累积回报的期望值。 根据马尔可夫决策过程（MDP）的假设，任何时刻的状态价值函数都可以通过当前状态的即时奖励和下一个状态的期望价值来计算。假设当前状态为 s，下一个状态为 s'，即时奖励为 r，那么状态价值函数的贝尔曼方程可以表示为： V(s) = E[r + γV(s')] 其中，γ 是折扣因子，用于衡量当前奖励和未来奖励的重要性。通过贝尔曼方程，我们可以将状态价值函数表示为当前状态的即时奖励和下一个状态的期望价值的和，再乘以折扣因子。 贝尔曼方程的推导基于以下两个假设： 1. 执行动作的策略 π 是已知的。 2. 未来状态的价值函数 V(s') 是已知的。 根据这两个假设，我们可以通过迭代的方式逐步更新状态价值函数，直到收敛为止。具体的推导过程涉及到动态规划的细节，可以参考相关的教材或论文进行学习和深入理解。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值