贝尔曼最优方程收敛性证明

转载 已于 2023-12-16 17:37:12 修改 · 641 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://towardsdatascience.com/mathematical-analysis-of-reinforcement-learning-bellman-equation-ac9f0954e19f
文章标签：

#人工智能 #深度学习

于 2023-11-01 00:06:01 首次发布

贝尔曼方程有两种形式「贝尔曼期望方程」和「贝尔曼最优方程」，贝尔曼期望方程是在求解价值函数vπ(s)v_{\pi}(s)vπ​(s)或者Q函数qπ(s,a)q_{\pi}(s,a)qπ​(s,a)的时候使用，而贝尔曼最优方程则在求解最优策略时使用，

那么为什么贝尔曼最优方式是收敛的？简单来说Belman最优公式对应的算子是完备度量空间（也叫完备空间，空间中的任何柯西序列都收敛在该空间之内）上的一个压缩映射，根据巴拿赫不动点定理（也叫压缩映射定理或压缩映射原理），可以保证压缩映射不动点的存在性和唯一性。

在这里插入图片描述
在这里插入图片描述

以下转载自https://towardsdatascience.com/mathematical-analysis-of-reinforcement-learning-bellman-equation-ac9f0954e19f，来证明Bellman Optimality Equation为啥是收敛的：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

taoqick
关注
强化学习学习笔记（3）---贝尔曼最优公式
Fourglsl的博客
05-14 1949
点 x 属于集合 X，f 是一个映射（或者叫函数），如果满足 f(x) = x，则 x 就被称为一个不动点。f 是收缩映射（contraction mapping），如果满足：（伽马可以自由选择的，只要在0到1之间）对于任何形式为 x = f(x) 的方程，如果 f 是收缩映射，那么满足存在性：存在一个满足 f(x*) = x* 的不动点（fixed point） x*。
强化学习的数学原理-03贝尔曼最优公式
weixin_61426225的博客
10-24 959
时策略又会发生变化，策略会变得非常短视，更具体地说策略只会关注。求解贝尔曼最优公式就是已知红色量求出上面公式中黑色的量。有了上面的压缩映射定理就可以解决贝尔曼最优公式了。求解不动点的算法：这是一个迭代式的算法,不断令。,同时收敛的速度会非常快（以指数的速度收敛），这样导致的结果可能是采用的策略根本到达不了。这个方程，求解这个方程就需要下面的知识了。，那么贝尔曼最优公式就可以利用上面的。基于上面的定义，于是就可以定义最优。比较小的时候则会比较短时，获得的。对于所有的状态s，和所有的策略。
贝尔曼最优方程(Bellman Optimality Equation)
热门推荐
静静的学习就好
05-19 1万+
贝尔曼最优方程目录回顾 + 补充逻辑场景设置贝尔曼最优方程最优策略与最优价值函数 本节使用更新图的方式对Vπ(s)V_\pi(s)Vπ​(s)和qπ(s,a)q_\pi(s,a)qπ​(s,a)之间的关系进行详细说明，并在贝尔曼期望方程(Bellman Expectation Equation)基础上介绍贝尔曼最优方程(Bellman Optimality Equation)。
强化学习拾遗 —— 表格型方法和函数近似方法中 Bellman 迭代的收敛性分析
佚失的诗篇
04-17 943
本文考察表格型 model-based evaluation 方法中，使用 Bellman 算子进行迭代的收敛性：首先补充一些测度论中的定义，然后介绍压缩映射原理和不动点，最后证明收敛性
迭代法求解贝尔曼期望方程的数学证明
06-02 1304
本文首先介绍了度量空间、压缩映射和不动点理论，并运用上述概念证明了迭代法求解贝尔曼期望方程。
贝尔曼方程推导
luoganttcc的博客
02-27 637
添加链接描述
强化学习笔记3-解bellman方程
weixin_39328611的博客
03-14 746
贪婪策略 某一策略是贪婪的for 状态值方程V，if $\pi(s,a)=1 $ ifa等于估计状态动作值方程最大值，否则为0； 最优策略（最大的状态值方程） V∗(s)=maxπVπ(s)V^{*}(s)=max_{\pi} V^{\pi}(s)V∗(s)=maxπ​Vπ(s) V的贪婪策略是最优的，V的贪婪策略可能不止一个，但所有的 Vπ∗V^{\pi ^{*}}Vπ∗都等于V*； 如何计算最优策略？（期望） 计算最优状态值方程，写出Bellman equation，从各部分加到一起 V*（s）是从s
【RL】Bellman Optimality Equation（贝尔曼最优等式）
qq_44733706的博客
02-14 1290
解释强化学习中的贝尔曼最优公式
【强化学习的数学原理-赵世钰】课程笔记（三）贝尔曼最优公式
m0_49683806的博客
05-25 670
贝尔曼最优公式
【强化学习的数学原理】第三章 贝尔曼最优公式
weixin_62403234的博客
02-10 915
state value可以用来评估一个策略的好坏，当时，方案1比方案2要好。所以我们就可以定义，当时，说明方案*比任何一个方案都好。那么最优策略是否存在呢？最优策略是否唯一呢？最优策略时随机的还是确定的呢？如何获取最优策略呢？为了回答这些问题，我们需要研究贝尔最优公式。贝尔曼最优公式有两种格式，
强化学习——贝尔曼最优方程
catcatcatcx的博客
11-08 884
开门见山，贝尔曼最优方程长这样：向量形式的贝尔曼方程：回顾贝尔曼方程，我们知道策略π\piπ是给定的，而对于贝尔曼最优方程，里面还蕴含了一个优化问题，即也要求解满足方程的策略π\piπ，那么求解出的策略π\piπ与最优策略π∗\pi^{*}π∗有什么关系呢？
强化学习之贝尔曼方程
zhengjian1996的专栏
03-01 785
贝尔曼方程（Bellman Equation）是描述动态规划的核心方程之一，它是利用最优性原理来构造动态规划算法的关键。
学习心得-强化学习【贝尔曼最优公式】
weixin_45739351的博客
03-14 1719
强化学习基础心得
泛函分析（二）巴纳赫（Banach）不动点，贝尔曼方程（Bellman equation）在强化学习的应用
weixin_48878618的博客
10-11 1219
强化学习的目的是寻找最优策略。其中涉及两个核心概念最优状态值和最优策略，以及贝尔曼最优公式。而贝尔曼最优公式用不动点原理求解地址，由Banach不动点定理可以知道，强化学习一定存在唯一的解（策略） ,并且可以通过迭代求得。简单理解：空间，就是在一个集合上定义某种规则（函数），且该规则适合集合内每一个元素。比如：对于海洋空间（集合），就是指“四大洋中所有的水分子（元素），在自然状态（规则）可以到达的任意位置的集合”。
model-free 方法：动态规划法DP(dynamic programing)
HEU_Yutianqi的博客
04-12 1366
基于模型的强化学习算法：动态规划法（有例子）
贝尔曼方程
Vic_Hao的博客
06-03 1万+
贝尔曼方程在强化学习中无处不在，对于理解强化学习算法的工作原理是非常必要的。贝尔曼方程让我们可以开始解决MDPs问题。
6. 贝尔曼方程
阿甘的专栏
12-20 1023
什么是贝尔曼方程？它有哪些表达式形式？它有何意义？
转载：强化学习中Bellman最优性方程背后的数学原理？
weixin_45776027的博客
02-17 3606
一. Bellman最优 贝尔曼方程在强化学习（RL）中无处不在，它是由美国应用数学家理查德·贝尔曼（Richard Bellman）提出，用于求解马尔可夫决策过程。 贝尔曼最优性方程 贝尔曼最优性方程是一个递归方程，对于Model_based环境可由动态规划（dynamic programming，DP）算法求解，可以通过求解该方程可以找到最优值函数和最优策略。 对于任何有限的MDP，都存在一个最佳策略π*，满足其他所有可能的策略π都不会比这个策略更好。 如果对于状态空间中的每个状态，使用π1派生..
通过Bellman算子理解动态规划
想写就写咯
05-05 3827
文章目录前言正文Value Functions as Vectors贝尔曼算子Bπ,B∗\bf{B}_{\pi},\bf{B}_{*}Bπ​,B∗​Contraction and Monotonicity of Operators 前言 贝尔曼方程和算子算是RL的基础了，偶然间看到有人总结这个slides的内容，但其实不易懂，排版也看不习惯，我觉得还是要自己整理一下，另一个人的可以参考这里。 会涉及贝尔曼算子收敛性的证明。 正文 Value Functions as Vectors 首先将值函数表示为向量。
policy iteration收敛性证明
最新发布
03-15
### 策略迭代的收敛性证明 在强化学习领域，策略迭代是一种用于求解马尔可夫决策过程（MDP）的方法。它通过交替执行 **策略评估** 和 **策略改进** 来逐步逼近最优策略。 #### 1. 策略评估 策略评估的目标是计算当前策略 $\pi$ 下的状态价值函数 $V^\pi(s)$ 或动作价值函数 $Q^\pi(s, a)$。对于有限状态和动作空间的情况，可以通过贝尔曼方程反复迭代直到收敛来完成这一目标： $$ V^{\pi}(s) = \sum_{a} \pi(a|s) \left( R(s,a) + \gamma \sum_{s'} P(s'|s,a)V^{\pi}(s') \right) $$ 此步骤的核心在于利用动态规划的思想不断更新估计值直至满足误差阈值条件[^3]。 #### 2. 策略改进 一旦获得了精确的价值函数表示形式，则可以依据贪婪原则定义新的更优策略$\pi'$: 如果存在某个固定折扣因子γ∈[0,1)，以及任意初始分布μ₀(x)=Pr[X₀=x],则有如下关系成立: $$ Q^{\pi}(s,a) = R(s,a)+\gamma\sum_{s'\in S}\mathbb{P}_{ss'}^{a}[max_{b}Q^{\pi}(s', b)] $$ 基于上述表达式构建的新策略必然不会劣于旧版方案即π'(·|s)≥π(·|s). #### 3. 收敛性的理论基础 由于每一次政策改善操作都会严格提升整体性能指标或者保持不变当达到全局最大点位置之时停止变化因此整个流程呈现单调递增趋势最终必将抵达稳定终点处也就是最佳解答所在之处[^1]. 同时考虑到每一轮次内部涉及大量重复运算所以实际耗时可能较长特别是针对规模庞大复杂的环境设定而言更是如此不过好在这方面具备良好数学特性便于分析验证其有效性. ```python def policy_iteration(env, gamma=1.0, theta=1e-8): """ 实现基本的策略迭代算法 参数: env: OpenAI Gym 环境实例或其他兼容 MDP 定义的对象. gamma: 折扣率 (默认为 1). theta: 停止标准的小数精度水平. 返回: pi: 最终获得的最佳确定性策略字典 {state -> action}. v: 对应状态下由该策略产生的期望回报数组. """ def one_step_lookahead(state, V): A = np.zeros(env.nA) for a in range(env.nA): for prob, next_state, reward, _ in env.P[state][a]: A[a] += prob * (reward + gamma * V[next_state]) return A nS = env.nS nA = env.nA V = np.zeros(nS) while True: delta = 0 # Policy Evaluation Step for s in range(nS): old_v = V[s] new_values = one_step_lookahead(s, V) best_action_value = max(new_values) V[s] = best_action_value delta = max(delta, abs(old_v - V[s])) if delta < theta: break # Initialize an arbitrary deterministic policy policy = np.ones([nS, nA]) / nA while True: stable_policy = True for s in range(nS): chosen_a = np.argmax(policy[s]) action_values = one_step_lookahead(s, V) best_a = np.argwhere(action_values == np.max(action_values)).flatten() if chosen_a not in best_a: stable_policy = False policy[s] = np.eye(nA)[best_a] if stable_policy: return policy, V ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值