马尔可夫决策过程

原创

于 2016-06-07 14:03:08 发布 · 4.9k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #机器学习 #强化学习

马尔可夫决策过程（MDP）是一种离散时间的随机过程，由状态空间、动作空间、状态转移概率、回报函数等组成。MDP的特点在于当前状态向下一个状态转移的概率和回报仅依赖于当前状态和选择的动作。策略在MDP中扮演关键角色，分为随机性和确定性策略，其对应的状态值函数Vπ(s)和动作值函数Qπ(s,a)描述了预期的回报。动作值函数Qπ(s,a)和策略之间存在紧密关系，可用于策略优化。" 91040919,8237623,Mybatis foreach嵌套批量insert map list操作详解,"['Mybatis', '批量操作', '数据库操作', '映射', 'ORM']

马尔可夫决策过程

马尔科夫决策过程

马尔可夫决策过程是一个离散时间的随机过程，有六元组 $\{S, A, D, P, r， J \}$ 组成，六元组中:
1. $S$ 有限维的环境状态空间
2. $A$ 是有限维的动作空间， $D$ 为初始状态的概率分布，如果初始状态的确定的， $D$ 在该初始状态下的概率为1，当初始状态是以相等的概率从所有状态中选择时， $D$ 可以忽略。
3. $P(s, a, s') \in [0, 1]$ 为状态转移概率，表示在状态 $s$ 下选择动作 $a$ 后使环境被转移到 $s'$ 的概率
4. $r(s,a,s') : S \times A \times S' \rightarrow \mathcal{R}$ 为学习系统从状态 $s$ 执行动作 $a$ 转移到 $s'$ 得到的立即回报
5. $J$ 是决策优化目标函数