强化学习（三）用动态规划（DP）求解

原创 已于 2025-05-12 10:05:32 修改 · 1.2k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#动态规划 #算法 #人工智能

于 2025-05-08 12:31:52 首次发布

微信公众号：李歪理，欢迎大家关注

上一章我们讨论了用马尔科夫假设来简化强化学习模型的复杂度，这一篇我们在马尔科夫假设和贝尔曼方程的基础上讨论使用动态规划(Dynamic Programming, DP)来求解强化学习的问题。

1. 动态规划和强化学习问题的联系

动态规划的关键点有两个：

  • 一是问题的最优解可以由若干小问题的最优解构成，即通过寻找子问题的最优解来得到问题的最优解；
  • 二是可以找到子问题状态之间的递推关系，通过较小的子问题状态递推出较大的子问题的状态。而强化学习的问题恰好是满足这两个条件的。

我们先看看强化学习的两个基本问题，具体的数学描述是这样：

预测问题：给定一个MDP（马尔科夫决策过程） ⟨S,A,P,R,γ⟩\left\langle S,A,P,R,\gamma\right \rangle⟨

了解本专栏 订阅专栏 解锁全文 超级会员免费看
强化学习之动态规划
数据喵的博客
07-26 4011
动态规划（Dynamic Propramming） 当一个精确的环境模型时，可以用动态规划去解决。总体来说，就是将一个问题分解成子问题，通过解决子问题来解决原问题。动态指针对序列问题，规划指优化，找到策略。 动态规划解决的问题具备两种性质： 最优子结构 满足最优性原理 最优的解可以被分解成子问题的最优解 交叠式子问题 子问题能够被多次重复 子问题的解要能够被缓存并再利用 MDPs满...
强化学习-动态规划
qq_45481856的博客
07-16 1955
动态规划（dynamic programming）是程序设计算法中非常重要的内容，能够高效解决一些经典问题，例如背包问题和最短路径规划。动态规划的基本思想是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到目标问题的解。动态规划会保存已解决的子问题的答案，在求解目标问题的过程中，需要这些子问题答案时就可以直接利用，避免重复计算。本章介绍如何用动态规划的思想来求解在马尔可夫决策过程中的最优策略。
【强化学习】动态规划算法
最新发布
2401_84149564的博客
10-22 1018
本文介绍了基于动态规划的强化学习算法——策略迭代和价值迭代，并应用于悬崖漫步和冰湖两个经典环境。策略迭代通过交替进行策略评估（计算状态价值函数）和策略提升（改进策略）来寻找最优策略；价值迭代则直接通过贝尔曼最优方程迭代更新价值函数，效率更高。两种算法在实验中都收敛到最优策略，但价值迭代收敛速度更快。文章还给出了算法的收敛性证明，并提供了完整的Python代码实现，展示了如何用动态规划方法解决有限马尔可夫决策过程问题。
强化学习总结（3）--动态规划
weixin_30416497的博客
12-07 688
动态规划是强化学习里面最基础的部分，其核心思想----通用策略迭代(Generalized Policy Iteration,GPI)。 首先强调一点，动态规划(Dynamic Programming)要求一个完全已知的环境模型，所谓完全已知，就是MDP的五元组全部已知，当然了，主要还是指状态转移概率已知。这种学习方式就是有模型学习(Model-based learning)。 这里我的疑问还...
基于动态规划的强化学习方法
一起加油~
05-19 1950
\quad \quad 基于动态规划的强化学习方法 \quad 动态规划（dynamic programming）是程序设计算法中非常重要的内容，能够高效解决一些经典问题，例如背包问题和最短路径规划。动态规划的基本思想是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到目标问题的解。动态规划会保存已解决的子问题的答案，在求解目标问题的过程中，需要这些子问题答案时就可以直接利用，避免重复计算。本文介绍如何用动态规划的思想来求解在马尔可夫决策过程中的最优策略。 基于动态规划的强化学习算法主要
强化学习笔记04——动态规划
Keep calm and carry on.
05-29 2483
动态规划（DP）是指，当给出一个具体的环境模型已知的马尔科夫决定过程（MDP），可以用于计算其最佳策略的算法集合。经典DP算法在强化学习中的实用性有限，因为他们假定了一个具体的模型，并且还受限于它们的计算cost很高，但它在理论上仍然很重要。策略迭代通用策略迭代是： 1. 先从一个策略π0\pi _{0}开始， 2. 策略评估(Policy Evaluation) - 得到策略π0\pi _{0
(四) 强化学习——动态规划(DP)
qq_44524552的博客
07-20 1266
在开始之前，大家肯定会有个疑惑，什么是动态规划？动态规划和强化学习又有啥子关系。以前在学习动态规划的时候可没听说过强化学习，现在学习强化学习为什么要了解动态规划？首先我们知道动态规划是一类优化方法。那我们遇到什么类型问题的时候用动态规划算法？动态规划算法把求解复杂问题分解为求解子问题，通过求解子问题进而得到整个问题的解。在解决子问题的时候，其结果通常需要存储起来被用来解决后续复杂问题。
【强化学习】- 3. 动态规划DP
glitterosu的博客
08-05 830
前面第二章主要介绍了如何用MDP去形式化RL问题， 还未涉及到如何去解MDP问题。动态规划可以帮助找到行业中面临的规划问题的最佳解决方案，前提是环境的具体情况是已知的。DP 为理解可以解决更复杂问题的 RL 算法提供了一个很好的起点。第四章和第五章将会介绍如果环境未知 （model-free）如何解。DynamicDP是一种解决复杂问题的方法， 通过将原问题拆分成子问题：对子问题求解存储子问题的解并合并，找到原问题的解。
强化学习-动态规划-DP1
08-03
在强化学习中，动态规划（Dynamic Programming, DP）是一种用于解决马尔科夫决策过程（Markov Decision Process, MDP）的重要方法。DP主要用于找出最优策略以及对应的最优价值函数。本节主要关注两种动态规划算法：...
动态规划和强化学习的关系，以及优缺点比较。请详细进行解释
wq6qeg88的博客
01-12 1705
Bellman方程是动态规划和强化学习中至关重要的工具，提供了一种递归关系来描述状态或状态-动作对的价值。通过Bellman方程，智能体可以计算最优策略或最优值函数，并逐步逼近最优解。它的核心思想是将复杂的多阶段决策问题分解成一个个简单的子问题，利用递归关系求解。
动态规划-强化学习学习笔记(三)
优快云XXCQ的博客
01-20 2337
概念引入 强化学习的通俗理解 马尔可夫决策过程 简介 动态规划（Dynamic Programming，DP）是运筹学的一个分支，是求解决策过程最优化的过程。20世纪50年代初，美国数学家贝尔曼（R.Bellman）等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理，从而创立了动态规划。动态规划的应用极其广泛，包括工程技术、经济、工业生产、军事以及自动化控制等领域，并在背包问题、生产经营问题、资金管理问题、资源分配问题、最短路径问题和复杂系统可靠性问题等中取得了显著的效果 。 动态规划的适用范围
强化学习中的动态规划与决策网
AI天才研究院
01-18 1234
1.背景介绍 强化学习(Reinforcement Learning, RL)是一种机器学习方法，它通过与环境的交互来学习如何做出最佳决策。强化学习的目标是找到一种策略，使得在环境中执行的动作可以最大化累积奖励。在强化学习中，动态规划(Dynamic Programming, DP)和决策网(Decision Network)是两种重要的方法，它们可以帮助我们解决复杂的决策问题。 在本文中，我...
RL（四）动态规划解决强化学习
weixin_42022175的博客
08-18 1731
目录动态规划和强化学习的联系 前面一篇博客讲了马尔科夫决策过程和贝尔曼方程，这一篇我们在此基础上用动态规划来求解强化学习问题。 动态规划和强化学习的联系 既然要用动态规划来解决问题，首先要明白什么是动态规划。动态规划是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。 动态规划的关键点有两个：一是问题的最优解可以由若干小问题的最优解构成，即通过寻找子问题的最优解...
强化学习系列（四）：动态规划
LagrangeSK的博客
07-20 7629
一、前言 在强化学习系列（三）：马尔科夫决策过程中，我们提到了什么是马尔科夫过程，并且表示大部分强化学习问题都可以看做满足马尔科夫决策过程，但我们没有说如何求解马尔科夫决策过程。在本章中，我们将介绍如何用动态规划的方法求解马尔科夫决策过程，此处，我们假设需要求解的MDP是环境完全已知的。（注意：这不同于强化学习问题，大部分强化学习问题都是环境部分未知或全部未知的，但动态规划的思想对我们理解强化学...
强化学习第3章——动态规划
m0_48941999的博客
10-27 338
三、动态规划 满足条件：最优子结构，重复子问题 bellman递归方程可以用动态规划求解 Vlaue function记录子问题的解 Planning（规划）: 规划: 环境是已知或近似已知的，个体并不与环境发生实际的交互，而是利用其构建的模型进行计算，在此基础上改善其行为策略。 MDP认为已知所有的环境信息，所以可以用动态规划。 预测：求基于当前策略π的价值函数 input: MDP and π\piπ ​ MRP Output: value function 控制：求最优价值函数和最优策略
强化学习：基本概念，马尔可夫，贝尔曼方程，动态规划
燕双嘤
03-13 5690
强化学习起源于动物心理学的相关原理，模仿人类和动物学习的试错机制，是一种通过与环境交互，学习状态到行为的映射关系，以获得最大积累期望回报的方法。强化学习包含环境，动作和奖励三部分，其本质是 agent 通过与环境的交互，使得其作出的action所得到的决策得到的总的奖励达到最大，或者说是期望最大。DL/ML中的loss function目的是使预测值和真实值之间的差距最小，而RL中的loss function是是奖励和的期望最大。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值