动态规划:原理、应用与拓展
1. 动态规划概述
动态规划是一种用于建模顺序决策过程的方法,在该过程中,过去的决策会影响未来的可能性。决策可以在固定的离散时间间隔或由系统变化触发的随机时间间隔做出。决策过程可以持续有限的时间段,也可以无限期运行,这取决于具体应用。
每次需要做出决策时,决策者会观察系统的当前状态,并从已知的可能行动集合中进行选择。根据系统状态和所选行动,决策者会获得奖励(或支付成本),并且系统会根据已知概率演变为新的状态。决策者面临的挑战是选择一系列行动,以在决策期内获得最大的奖励。为此,他不仅需要考虑采取给定行动的当前奖励(或成本),还需要考虑该行动对未来奖励的影响。策略是一个完整的决策序列,它规定了在任何给定状态和任何给定时间应采取的行动。动态规划通过开发数学递归来找到最优策略,将多决策问题分解为一系列单决策问题,这些问题在分析或计算上更易于处理。
2. 背景与动机
动态规划的早期概念可以追溯到 17 世纪的变分法问题。然而,现代对随机顺序决策问题的研究可以追溯到 1947 年 Wald 在顺序统计分析方面的工作。与此同时,Pierre Masse 正在分析应用于法国水资源管理的类似问题。然而,与动态规划相关的主要人物是 Richard Bellman,他建立了构成动态规划基础的最优性方程。
动态规划的应用范围很广,表 1 展示了其应用的广度,并突出了大多数实例的随机性。
| 应用 | 系统状态 | 行动 | 奖励 | 随机因素 |
|---|
订阅专栏 解锁全文
41



被折叠的 条评论
为什么被折叠?



