【更新中…】强化学习-MDP_学习笔记

1 概念介绍

1.1 Random Variable · 随机变量

1. 一维随机变量
2. 多维随机变量

1.2 Stochastic Process · 随机过程

随机过程研究的不再是单个的随机变量，而是一组随机变量，这一组随机变量之间有非常紧密的关系。

例：设今天的股票价格为S_t，则明天的股票价格S_t+1肯定与今天的价格有关系的，依次类推，后天的、大后天的……以及昨天的、前天的都与今天的S_t有关系，他们就可以归纳成一个随机过程：
{ S } t = 1 ∞ = … S t − 1 , S t , S t + 1 , … \{S\}_{t=1}^{\infty}=…S_{t-1},S_{t},S_{t+1},… {S}t=1∞​=…St−1​,St​,St+1​,…

1.3 Markov Chain/Process · 马尔可夫链/过程

马尔可夫过程是一种特殊的随机过程，具备马尔可夫性质的随机过程叫做马尔可夫过程。

• Markov Property · 马尔可夫性质
  文字描述：当前的状态只和上一时刻有关，在上一时刻之前的任何状态都和我无关
  数学描述：$$P(S_{t+1}|S_t,S_{t-1},S_{t-2},\dots ,S_1)=P(S_{t+1}|S_t)$$

【拓展】

• 二阶马尔可夫性质： $$P(S_{t+1}|S_t,S_{t-1},S_{t-2},\dots ,S_1)=P(S_{t+1}|S_t,S_{t-1})$$
• 三阶马尔可夫性质： $$P(S_{t+1}|S_t,S_{t-1},S_{t-2},\dots ,S_1)=P(S_{t+1}|S_t,S_{t-1},S_{t-2})$$

【理解】

• 在现实生活中，比如说一个人的游戏水平，跟昨天的游戏水平是最有关系的，跟十年前他的游戏水平关系就不大了。
• 马尔可夫性质存在的意义是为了简化计算。

1.4 State Space Model · 状态空间模型

State Space Model = Markov chain + Observation
状态空间模型=马尔可夫链+观测变量

1.5 Markov Reward Process · 马尔可夫奖励过程

Markov Reward Process = Markov chain + Reward
马尔可夫奖励过程=马尔可夫链+奖励

从一个状态转移到另一个状态，都会有一个奖励。

1.6 Markov Decision Process · 马尔可夫决策过程

Markov Decision Process = Markov chain + Reward+Action
马尔可夫奖励过程=马尔可夫链+奖励+行为

这里的“行为”是指可以影响到状态的行为，比如说股市里的政策制定者，通过某个行为，影响股票价格，同时得到一定的奖励。

通常同花体表示某个集合：

• $\mathcal{S}$：state set · 状态集 $\to S_t$
• $\mathcal{A}$：action set · 行为集，有时候表示为$\forall s\in \mathcal{S},\mathcal{A}(s)\to A_t$
  因为任何一个行为都是都是在某种状态下做出的，所以有了上面的表示方法。
• $\mathcal{R}$：reward set · 奖励集 $\to R_{t+1}$
  在t时刻的做出的行为一般在t+1时刻才能得到奖励，故一般$S_t，A_t$与$R_{t+1}$对应
  

2 动态特性

【回顾】
Markov chain：$\mathcal{S}$
MRP：$\mathcal{S},\mathcal{R}$
MDP：$\mathcal{S},\mathcal{R},\mathcal{A}(s)$

2.1 状态转移矩阵

只能针对状态空间是离散的情况，描述马尔可夫链的动态特性，表示从一个状态转移到另一个状态的概率

【例】
一个马尔可夫链有10个随机变量 S t ∈ { S ( 1 ) , S ( 2 ) , … , S ( 9 ) , S ( 10 ) } S_t\in\{S^{(1)},S^{(2)},…,S^{(9)},S^{(10)}\} St​∈{S(1),S(2),…,S(9),S(10)}
其状态转移矩阵为：
$$\begin{array}{cccccc}& S^{(1)}& S^{(2)}& \cdots & S^{(9)}& S^{(10)}\\ S^{(1)}& p_{11}& p_{12}& \cdots & p_{19}& p_{110}\\ S^{(2)}& p_{21}& p_{22}& \cdots & p_{29}& p_{210}\\ ⋮& ⋮& ⋮& \ddots & ⋮& ⋮\\ S^{(9)}& p_{91}& p_{92}& \cdots & p_{99}& p_{910}\\ S^{(10)}& p_{101}& p_{102}& \cdots & p_{109}& p_{1010}\end{array}$$
表示各个状态之间转移的概率。

2.2 动态函数/动态特性

对于离散的变量，可以用状态转移矩阵表示，但是对于连续的随机变量，只能用函数来表示，称为动态函数，也可以叫做MDP的动态特性，用花体$\mathcal{P}$来表示

• 定义
  P : p ( s ′ , r ∣ s , a ) = P r { S t + 1 = s ′ , R t + 1 = r ∣ S t = s , A t = a } \mathcal{P}: p(s',r|s,a)=P_r\{S_{t+1}=s',R_{t+1}=r|S_t=s,A_t=a\} P:p(s′,r∣s,a)=Pr​{St+1​=s′,Rt+1​=r∣St​=s,At​=a}

上面的函数也可以称作状态转移函数，但是存在奖励$r$，成为状态转移函数可能不是很贴切，可以次采用下面的状态转移函数的定义：
p ( s ′ ∣ s , a ) = P r { S t + 1 = s ′ ∣ S t = s , A t = a } p(s'|s,a)=P_r\{S_{t+1}=s'|S_t=s,A_t=a\} p(s′∣s,a)=Pr​{St+1​=s′∣St​=s,At​=a}

【表达方式】

• 一般随机变量都用大写字母表示，随机变量具体的取值用小写字母表示，比如表示某个概率： P { X = s } = 0.6 P\{X=s\}=0.6 P{X=s}=0.6

【注意点】

• 上面所说的定义中，奖励R也是一个随机变量，比如说第1次在状态s时，采取动作a得到的r=0.8；第100次正好也是状态s，再采取同样的动作啊，得到的奖励就有可能是r=0.4了。

2.3 价值函数 · Value Function

2.3.1 策略

Policy: 用$\pi$来表示，分为以下两种：

• 确定性策略
  只要出现了状态s，我就选择行为a，跟时间没有关系，只跟状态有关系。
  $$a=\pi (s)$$
• 随机性策略
  选择哪一种行为a1,a2,a3…是有一定概率的。
  π ( a ∣ s ) = P r { A t = a ∣ S t = s } \pi(a|s)=P_r\{A_t=a|S_t=s\} π(a∣s)=Pr​{At​=a∣St​=s}

2.3.2 回报

回报指的是在当前状态$s$下，做出动作$a$之后，得到的即时奖励$R_{t+1}$以及后面一系列的奖励$R_{t+2}、R_{t+3}、R_{t+4}\dots \dots$等等，因为当前的所做出的行为肯定会对以后的一系列状态都构成影响。用$G_t$表示回报$$G_t=R_{t+1}+R_{t+2}+R_{t+3}+R_{t+4}\dots \dots (不是最终形态)$$

【例子】
如果说张三对李四构成了伤害，当天伤害程度肯定是最大的，但是随着时间的推移，伤害这件事对李四虽然一直有影响，但是影响越来越小，所以引入折扣(Discount)的概念。

2.3.3 折扣 · Discount

根据上面的描述，引入折扣$\gamma$之后，回报函数为：
$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+{\gamma }^3{R}_{t+4}+\dots +{\gamma }^{T-1}{R}_{t+T}=\sum _{i=0}^{\infty }{\gamma }^i{R}_{t+1+i}(T\to \infty )$$其中，$\gamma \in [0,1]$

2.3.4 价值函数 · Value Function

考虑到实际的决策过程，假设只有三个状态 S = { s 1 , s 2 , s 3 } S=\{s_1,s_2,s_3\} S={s1​,s2​,s3​},也只有三个行为 A = { a 1 , a 2 , a 3 } A=\{a_1,a_2,a_3\} A={a1​,a2​,a3​}，如下图所示，从状态$S_t\to S_{t+1}$，可能采取三种行为中的一种，而采取每种行为之后，又根据每种行为的状态转移概率进行到下一个状态，因此一共有九种可能性，故算起回报函数会非常的麻烦，因此引入价值函数的概念

• 状态价值函数
  价值函数定义为，在采取策略$\pi$的前提下，所有可能的$G_t$的加权平均值，即为期望值。$$V_{\pi }(s)=E_{\pi }[G_t|S_t=s]$$

• 状态动作价值函数
  $$q_{\pi }(s,a)=E_{\pi }[G_t|S_t=s,A_t=a]$$

【辨析】

• 策略$\pi$存在的意义就是为了管理状态$s$和行为$a$之间的关系
  $$\pi :s\to a$$
  意思就是在$\pi$的约束下，s和a是一一对应的。
• $V_{\pi }(s)$的初始条件只有s，表示t时刻采取了策略$\pi$，进而所能得到的奖励。在t时刻采取的行为a以及之后采取的行为a均由策略$\pi$决定。
• $q_{\pi }(s,a)$的初始条件有s和a，同样表示t时刻采取了策略$\pi$，进而所能得到的奖励。但是在t时刻采取的行为a是已经给定的，跟策略$\pi$没有关系，策略$\pi$只能决定从t+1时刻开始的行为a。

3 贝尔曼期望方程 · Bellman Expectation Equation

3.1 $V_{\pi }(s)$和$q_{\pi }(s,a)$的关系

根据上面的论述，还是假设只有三个状态 S = { s 1 , s 2 , s 3 } S=\{s_1,s_2,s_3\} S={s1​,s2​,s3​},也只有三个行为 A = { a 1 , a 2 , a 3 } A=\{a_1,a_2,a_3\} A={a1​,a2​,a3​}，一共有9种可能的情况，也就有9个$G_t$。

• $V_{\pi }(s)$就是这9个$G_t$的加权平均值(期望)
  $$\begin{array}{rl}{V}_{\pi }(s)=& G_{t1}\cdot P(a_1)\cdot p_1+G_{t2}\cdot P(a_1)\cdot p_2+G_{t3}\cdot P(a_1)\cdot p_3+\\ & G_{t4}\cdot P(a_2)\cdot p_4+G_{t5}\cdot P(a_2)\cdot p_5+G_{t6}\cdot P(a_2)\cdot p_6+\\ & G_{t7}\cdot P(a_3)\cdot p_7+G_{t8}\cdot P(a_3)\cdot p_8+G_{t9}\cdot P(a_3)\cdot p_9\end{array}\text{\hspace{1em}(3-1)}$$
  其中，$G_{tx}$表示的9种情况的回报，$P(a_x)$表示的是选择某个行为a的概率，$p_x$表示的是在确定好行为a之后，由状态转移函数决定的选到某个具体的$G_{tx}$的概率。
  

• $q_{\pi }(s,a)$就是这9个$G_t$中的其中3个$G_t$的加权平均值
  $$\begin{gathered} q_{\pi }(s,a_1)=G_{t1}\cdot p_1+G_{t2}\cdot p_2+G_{t3}\cdot p_3 \\ {q}_{\pi }(s,a_2)=G_{t4}\cdot p_4+G_{t5}\cdot p_5+G_{t6}\cdot p_6 \\ {q}_{\pi }(s,a_3)=G_{t7}\cdot p_7+G_{t8}\cdot p_8+G_{t9}\cdot p_9\text{\hspace{1em}(3-2)} \end{gathered}$$

比较公式3-1和3-2可知，$V_{\pi }(s)$和$q_{\pi }(s,a)$存在以下关系：
$$V_{\pi }(s)=q_{\pi }(s,a_1)\cdot P(a_1)+q_{\pi }(s,a_2)\cdot P(a_2)+q_{\pi }(s,a_3)\cdot P(a_3)$$

而$P(a_x)$的值是由$\pi (a|s)$确定的，上面只有9种情况，拓展到无限种可能，可以得到$V_{\pi }(s)$和$q_{\pi }(s,a)$的关系为：
$$V_{\pi }(s)=\sum _{a\in \mathcal{A}}{q}_{\pi }(s,a)\cdot \pi (a|s)\text{\hspace{1em}(3-3)}$$

3.2 $q_{\pi }(s,a)$和$V_{\pi }(s^{\prime })$的关系