ADP&RL - 近似动态规划和强化学习 - Note 2 - Stochastic Finite Horizon Problem

2. Stochastic Finite Horizon Problem

在这一节中主要介绍了随机DP算法来解决不确定性下的有限地范围问题，如Denition 1.4所述，它被表述为一个组合优化问题。众所周知，由于组合爆炸，它是一个极其困难的问题。为了从结构上缓解这种极端的复杂性，一种方法是对所有决策规则的空间进行建模，这样就可以在一些方便的搜索空间，即策略空间中有效地解决这个问题。

Review

Definition 1.4 有限范围的随机顺序决策(Stochastic Sequential decision making with finite horizon).
给定一个如公式（1.2）的离散时间动态系统，一个有限范围SDM问题旨在为任意$x_0\in {\mathcal{X}}_0$，找到一个行动序列$\pi \in {\mathcal{U}}_0\times ...\times {\mathcal{U}}_{N-1}$，这样就可以解决以下最小化问题

$$\underset{\pi }{\min }{\mathbb{E}}_{p(w)}[g_N(x_N)+\sum _{k=0}^{N-1}{g}_k(x_k,u_k,w_k)]\text{\hspace{1em}(1.6)}$$

以上定义了组合优化问题（combinatorial optimisation problem），但是同时会造成组合爆炸问题（combinatorial explosion）。为了减少这种复杂性，一种方法是对所有决策规则空间建模。

可以看到，一旦Definition 1.4中给出的随机有限范围问题的解决方案被确定下来，它就对任意状态$x-k$有一个明确的动作分配$u_k$。这类分配的集合被称为确定性的历史无关策略。

Definition 2.1 确定性的历史无关策略(Deterministic History-independent Policy).
确定性的历史无关策略，也被称为确定性的马尔科夫策略( deterministic Markov Policy)， 对于所有$k=0,1,...,N-1$ 它是一个只基于状态$x_k$决策规则, 即
$${\pi }_k:{\mathcal{X}}_k\to {\mathcal{U}}_k,x_k\to u_k\text{\hspace{1em}(2.1)}$$

Definition 2.2 有限范围的尾部子问题 (Tail subproblems of a finite horizon problem).
给定一个如公式（1.2）的离散时间动态系统，在每个阶段$k=1,2,\dots ,N-1$，随机有限水平问题的第$k$个尾部子问题旨在为任何$x_k\in {\mathcal{X}}_k$找到行动序列 μ k : = { u k , u k + 1 , … , u N − 1 } ∈ U k × … × U N − 1 \mu_{k}:=\left\{u_{k}, u_{k+1}, \ldots, u_{N-1}\right\} \in \mathcal{U}_{k} \times \ldots \times \mathcal{U}_{N-1} μk​:={uk​,uk+1​,…,uN−1​}∈Uk​×…×UN−1​ ，这样就解决了以下最小化问题
$$\underset{{\mu }_k}{\min }{\mathbb{E}}_{p\left({\tilde{w}}_k\right)}\left[g_N\left(x_N\right)+\sum _{t=k}^{N-1}{g}_t\left(x_t,u_t,w_t\right)\right]\text{\hspace{1em}(2.2)}$$
显然， 对于所有定义， 如策略的总成本函数， 最佳成本函数， 和最佳策略， 都对于尾部子问题有效。 特别的，对于一个不稳定的策略（non-stationary policy） π ~ 0 : = { π 0 , π 1 , … , π N − 1 } \tilde{\pi}_{0}:=\left\{\pi_{0}, \pi_{1}, \ldots, \pi_{N-1}\right\} π~0​:={π0​,π1​,…,πN−1​} 及其尾部策略 π ~ k : = { π k , … , π N − 1 } \widetilde{\pi}_{k}:=\left\{\pi_{k}, \ldots, \pi_{N-1}\right\} π k​:={πk​,…,πN−1​}，总的成本函数$J_k^{{\tilde{\pi }}_k}$定义为：

$$J_k^{{\tilde{\pi }}_k}\left(x_k\right)={\mathbb{E}}_{p\left({\tilde{w}}_k\right)}\left[g_N\left(x_N\right)+\sum _{t=k}^{N-1}{g}_t\left(x_t,{\pi }_t\left(x_t\right),w_t\right)\right]\text{\hspace{1em}(2.3)}$$

最佳成本函数$J_k^{\ast }$定义为
$$J_k^{\ast }\left(x_k\right)=\underset{{\mu }_k}{\min }{\mathbb{E}}_{p\left({\tilde{w}}_k\right)}\left[g_N\left(x_N\right)+\sum _{t=k}^{N-1}{g}_t\left(x_t,u_t,w_t\right)\right]\text{\hspace{1em}(2.4)}$$

2.1 Stochastic DP

Proposition 2.1 有限范围的贝尔曼方程( Bellman equation of finite horizon problems)

给定一个随机有限范围问题和策略 π ~ 0 : = { π 0 , π 1 , . . . π N − 1 } \tilde{\pi}_0:=\{\pi_0, \pi_1, ... \pi_{N-1}\} π~0​:={π0​,π1​,...πN−1​}。我们定义 π ~ k : = { π 0 , π 1 , . . . π N − 1 } \tilde{\pi}_k:=\{\pi_0, \pi_1, ... \pi_{N-1}\} π~k​:={π0​,π1​,...πN−1​}从状态$k$截断的尾部策略， $k=1,..,N-1$, 然后有总的成本函数（total cost function）在任意状态$x_k\in {\mathcal{X}}_k$适用于以下方程
$$J_k^{{\tilde{\pi }}_k}\left(x_k\right)={\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)+J_{k+1}^{{\tilde{\pi }}_{k+1}}\left(f_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)\right)\right]\text{\hspace{1em}(2.5)}$$

证明：我们定义 χ k : = { x k , … , x N } ∈ X k × … × X N \chi_{k}:=\left\{x_{k}, \ldots, x_{N}\right\} \in \mathcal{X}_{k} \times \ldots \times \mathcal{X}_{N} χk​:={xk​,…,xN​}∈Xk​×…×XN​。回顾尾部问题的总成本函数， 我们在$k$阶段推导出

$$\begin{array}{rl}{J}_k^{{\bar{\pi }}_k}\left(x_k\right):& ={\mathbb{E}}_{p\left({\bar{w}}_k\right)}\left[g_N\left(x_N\right)+\sum _{t=k}^{N-1}{g}_t\left(x_t,{\pi }_t\left(x_t\right),w_t\right)\right]\\ & ={\mathbb{E}}_{p\left({\bar{w}}_k\right)}\left[g_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)+g_N\left(x_N\right)+\sum _{t=k+1}^{N-1}{g}_t\left(x_t,{\pi }_t\left(x_t\right),w_t\right)\right]\\ & ={\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)+{\mathbb{E}}_{p\left({\bar{w}}_{k+1}\right)}\left[g_N\left(x_N\right)+\sum _{t=k+1}^{N-1}{g}_t\left(x_t,{\pi }_t\left(x_t\right),w_t\right)\right]\right]\\ & ={\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)+J_{k+1}^{{\bar{\pi }}_{k+1}}\left(f_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)\right)\right],\end{array}\text{\hspace{1em}(2.6)}$$

其中，公式（2.6b）中的第一个等式来自于这样的假设：所有的干扰$w_k$是统计上是独立的。因此，该结果得到了结论。

这是一个简单而有趣的属性。也就是说，对于一个给定的非稳态策略，某阶段的总成本函数可以只用紧接着后面阶段的信息或总成本函数来计算。那么，这样的属性对于最优总成本函数是否也是成立的。我们提出以下引理

Lemma 2.1. 给定一个随机的有限范围问题，如定义1.4和一个策略 π ~ 0 : = { π 0 , π 1 , . . . π N − 1 } \tilde{\pi}_0:=\{\pi_0, \pi_1, ... \pi_{N-1}\} π~0​:={π0​,π1​,...πN−1​}，我们定义 π ~ k : = { π 0 , π 1 , . . . π N − 1 } \tilde{\pi}_k:=\{\pi_0, \pi_1, ... \pi_{N-1}\} π~k​:={π0​,π1​,...πN−1​}从状态$k$截断的尾部策略， $k=1,..,N-1$, 对于所有状态动作对$(x_k,u_k)$我们有如下等式

$$\underset{{\bar{\pi }}_{k+1}}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[J_{k+1}^{{\bar{\pi }}_{k+1}}\left(f_k\left(x_k,u_k,w_k\right)\right)\right]={\mathbb{E}}_{p\left(w_k\right)}\left[J_{k+1}^{\ast }\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\text{\hspace{1em}(2.7)}$$

证明：对于一个任意的截断策略${\tilde{\pi }}_{k+1}$， 以下的方程是正确的
$$\begin{array}{rl}{\mathbb{E}}_{p\left(w_k\right)}\left[J_{k+1}^{{\bar{\pi }}_{k+1}}\left(f_k\left(x_k,u_k,w_k\right)\right)\right]& \ge {\mathbb{E}}_{p\left(w_k\right)}\left[\underset{{\bar{\pi }}_{k+1}}{\min }{J}_{k+1}^{{\bar{\pi }}_{k+1}}\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\\ & ={\mathbb{E}}_{p\left(w_k\right)}\left[J_{k+1}^{\ast }\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\end{array}\text{\hspace{1em}(2.8)}$$

显然，上述不等关系与策略${\tilde{\pi }}_{k+1}$的选择无关。 因此，我们有

$$\underset{{\bar{\pi }}_{k+1}}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[J_{k+1}^{{\bar{\pi }}_{k+1}}\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\ge {\mathbb{E}}_{p\left(w_k\right)}\left[J_{k+1}^{\ast }\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\text{\hspace{1em}(2.9)}$$

现在我们定义

$${\tilde{\pi }}_{k+1}^{\ast }\in \underset{{\pi }_{k+1}}{\mathrm{argmin}}{J}_{k+1}^{{\bar{\pi }}_{k+1}}\left(x_{k+1}\right)\text{\hspace{1em}(2.10)}$$

然后，将公式（2.7）左边的数量最小化，就可以得出

$$\begin{array}{rl}\underset{{\bar{\pi }}_{k+1}}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[J_{k+1}^{{\bar{\pi }}_{k+1}}\left(f_k\left(x_k,u_k,w_k\right)\right)\right]& \le {\mathbb{E}}_{p\left(w_k\right)}\left[J_{k+1}^{{\bar{\pi }}_{k+1}^{\ast }}\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\\ & ={\mathbb{E}}_{p\left(w_k\right)}\left[J_{k+1}^{\ast }\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\end{array}\text{\hspace{1em}(2.11)}$$
因此，与公式（2.7）中的相等关系成立。

Proposition 2.2 有限范围的最优贝尔曼方程(Optimal Bellman equation of finite horizon problems)

给定一个随机有限范围问题，如定义1.4，对于$k=0,1,...,N-1$，在任何状态下的最优总成本函数$x_k\in {\mathcal{X}}_k$都满足以下等式

$$J_k^{\ast }\left(x_k\right)=\underset{u_k}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,u_k,w_k\right)+J_{k+1}^{\ast }\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\text{\hspace{1em}(2.12)}$$

证明： 对于$k=0,1,...,N-1$，我们定义$J_k^{\ast }$为最优总成本函数，${\tilde{\pi }}_0^{\ast }:=\left\{{\pi }_0^{\ast },{\pi }_1^{\ast },\dots ,{\pi }_{N-1}^{\ast }\right\}$即为相关的最佳不稳定策略， 其尾部策略为${\tilde{\pi }}_k^{\ast }:=\left\{{\pi }_k^{\ast },\dots ,{\pi }_{N-1}^{\ast }\right\}$

我们从$J_K^{\ast }(x_k)$的定义开始
$$\begin{array}{rl}{J}_k^{\ast }\left(x_k\right)& :=\underset{{\bar{\pi }}_k}{\min }{J}_k^{{\bar{\pi }}_k}\left(x_k\right)\\ & =\underset{{\bar{\pi }}_k}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)+J_{k+1}^{{\bar{\pi }}_{k+1}}\left(f_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)\right)\right]\\ & =\underset{{\pi }_k}{\min }\underset{{\bar{\pi }}_{k+1}}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)+J_{k+1}^{{\bar{\pi }}_{k+1}}\left(f_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)\right)\right]\\ & =\underset{{\pi }_k}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)+\underset{{\bar{\pi }}_{k+1}}{\min }{J}_{k+1}^{{\bar{\pi }}_{k+1}}\left(f_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)\right)\right]\\ & =\underset{{\pi }_k}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)+J_{k+1}^{\ast }\left(f_k\left(x_k,{\pi }_k\left(x_k\right),w_k\right)\right)\right]\end{array}\text{\hspace{1em}(2.13)}$$

其中，公式（2.13b）中的第一个等式是由于贝尔曼方程（定义在Lemma 2.1），公式（2.13c）中的第二个等式探索了结构 π ~ k : = { π k , π ~ k + 1 } \widetilde{\pi}_k:=\{\pi_k, \widetilde{\pi}_{k+1}\} π k​:={πk​,π k+1​}，公式（2.13d）中的第三个等式是由于Lemma 2.1的结果。公式(2.13d)中的第三个等式是由Lemma 2.1的结果决定的。最后，最后一个等式是由定义得出的，并简单地以${\pi }_k\left(x_k\right)=u_k$结束了证明。

最后，我们准备证明有限范围问题的随机DP算法。

Proposition 2.3 动态规划(Dynamic programming)

给定一个定义1.4中的随机有限范围问题，用以下方式进行初始化
$$J_N(x_N)=g_N(x_N)\text{\hspace{1em}(2.14)}$$
在$k=N-1,...,1,0$的情况下，通过以下算法进行
$$J_k\left(x_k\right)=\underset{u_k}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,u_k,w_k\right)+J_{k+1}\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\text{\hspace{1em}(2.15)}$$
输出$J_0(x_0)$是最优的。

证明：
我们使用归纳法证明这个问题。在终点状态$N$开始，对于所有$x_N\in {\mathcal{X}}_N$以下是显而易见的，
$$J_N^{\ast }(x_N)=g_N(x_N)=J_N(x_N)\text{\hspace{1em}(2.16)}$$
让我们假设对于$t=N-1,...,k+1$， 由公式（2.15）得到的总的成本函数$J_t$是最优的成本函数$J_t^{\ast }$，即$J_t(x_t)=J_t^{\ast }(x_t)$。然后对于状态k，有如下结构
$$\begin{array}{rl}{J}_k\left(x_k\right)& =\underset{u_k}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,u_k,w_k\right)+J_{k+1}\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\\ & =\underset{u_k}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,u_k,w_k\right)+J_{k+1}^{\ast }\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\\ & =\underset{u_k}{\min }\underset{{\tilde{\pi }}_{k+1}}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,u_k,w_k\right)+J_{k+1}^{{\tilde{\pi }}_{k+1}}\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\end{array}\text{\hspace{1em}(2.17)}$$

其中公式（2.17b）是由于数学归纳法的假设，（2.17c）符合最优成本函数的定义$J_{k+1}^{\ast }$。 现在我们定义 π ~ k : = { π k , π ~ k + 1 } \widetilde{\pi}_k:=\{\pi_k, \widetilde{\pi}_{k+1}\} π k​:={πk​,π k+1​}， 然后像在Lemma2.1中阐述的有限范围问题的贝尔曼方程那样，有
$$\begin{array}{rl}{J}_k\left(x_k\right)& =\underset{{\tilde{\pi }}_k}{\min }{J}_k^{{\tilde{\pi }}_k}\left(x_k\right)\\ & =J_k^{\ast }\left(x_k\right)\end{array}\text{\hspace{1em}(2.18)}$$
其中第二个等式直接来自最优总成本函数$J_k^{\ast }$的定义。

最后，以上两个Propositions 完善了随机有限范围SDM问题的最优性原则，我们得到以下原则

Theorem 2.1 最优化原则 (Principle of Optimality).

如定义1.4一样给定一个随机有限范围问题， 仅当策略对于所有$x_k\in {\mathcal{X}}_k$和$k=N-1,...,1.0$,
$${\pi }_k\left(x_k\right)\in \underset{u_k}{\min }{\mathbb{E}}_{p\left(w_k\right)}\left[g_k\left(x_k,u_k,w_k\right)+J_{k+1}\left(f_k\left(x_k,u_k,w_k\right)\right)\right]\text{\hspace{1em}(2.19)}$$
一个不稳定策略 π ~ 0 : = { π 0 , π 1 , … , π N − 1 } \widetilde{\pi}_0:=\{\pi_{0}, \pi_{1}, \ldots, \pi_{N-1}\} π 0​:={π0​,π1​,…,πN−1​}是最优的。其中 $J_k$ 是通过遵循Proposition 2.3 中给出的 DP 算法生成的。

需要注意的是，当状态空间和/或动作空间巨大时，DP 算法可能对最佳总成本函数的过于复杂计算。这种现象被称为维度的诅咒（the curse of dimensionality），它可以说是在实际应用中实现DP算法的最关键障碍。

2.2 Markov Decision Processes

与构建系统方程和建立系统不确定性模型不同的是，我们可以直接使用条件概率转换对环境状态间的转换进行建模。具体来说，在给定的决策时期$k$，我们假设在行动$u_k$下从$x_k$到$x_{k+1}$的状态转换不再是确定性的，而是在统计上依赖于当前状态$x_k$和行动$u_k$，即从$p\left(x_{k+1}\mid x_k,u_k\right)$提取。有了这样一个概率转换模型，我们可以将SDM问题建模为马尔可夫决策过程（MDP）。

Definition 2.3 马尔科夫决策过程定义 （Definition of Markov Decision Process）
如果转换到下一个状态的概率只取决于目前的状态，而不取决于以前的状态，即，一个随机变量的序列$x_1,x_2,x_3,...$是马尔可夫的。
$$p\left(x_N\mid x_1,x_2,\dots ,x_{N-1}\right)=p\left(x_N\mid x_{N-1}\right)\text{\hspace{1em}(2.20)}$$

Definition 2.4 有限范围的马尔科夫决策过程 （Markov decision process with finite horizon).
一个马尔科夫决策过程使用一个元组定义 { X , U , p , g k , N } \left\{\mathcal{X}, \mathcal{U}, p, g_{k}, N\right\} {X,U,p,gk​,N}，其中

1. $\mathcal{X}$ 是一个有限的状态集
2. $\mathcal{U}$ 有限的动作集
3. $p\left(x_{k+1}\mid x_k,u_k\right)$ 是在状态$x_k$下行动$u_k$导致状态$x_{k+1}$的转换概率。
4. $g_k\left(x_k,u_k,x_{k+1}\right)$ 是定义在转换元组上的 $\left(x_k,u_k,x_{k+1}\right)$局部成本 ;
5. $N$ 是有限的范围

Claim 2.1系统方程模型和状态转换模型的等效性 (Equivalence of system equation model and state transition model).

对于顺序决策问题，任何系统方程模型都承认有状态转换模型，反之亦然。

注，系统方程模型，如公式1.2中$x_{k+1}=f_k(x_k,u_k,w_k)$的$f_k$。
状态转换模型， $p\left(x_N\mid x_{N-1}\right)$。

证明： 通过条件概率的边缘化和Beyes规则，我们可以得到

边缘化：$P(A)={\sum }_{i}P(A,Y_i)$
Beyes： $P(A,B)=P(A|B)P(B)\to P(A,B|X,Y)=P(A|B,X,Y)P(B|X,Y)$

$$\begin{array}{rl}p\left(x_{k+1}\mid x_k,u_k\right)& =\sum _{w_k\in {\mathcal{W}}_k}p\left(x_{k+1},w_k\mid x_k,u_k\right)\\ & =\sum _{w_k\in {\mathcal{W}}_k}p\left(x_{k+1}\mid x_k,u_k,w_k\right)p\left(w_k\mid x_k,u_k\right)\end{array}\text{\hspace{1em}(2.21)}$$

根据公式（1.2）中的系统方程的构造，即系统函数$f_k$ 是确定的，我们有
$$p\left(x_{k+1}\mid x_k,u_k,w_k\right)=\{\begin{array}{ll}1,& f_k\left(x_k,u_k,w_k\right)=x_{k+1}\\ 0,& \text{ otherwise }\end{array}\text{\hspace{1em}(2.22)}$$

当 $w_k$ 的概率分布是历史独立的， 即$p\left(w_k\mid x_k,u_k\right)=p\left(w_k\right)$， 我们得到
$$p\left(x_{k+1}\mid x_k,u_k\right)=\sum _{f_k\left(x_k,u_k,w_k\right)=x_{k+1}}p\left(w_k\right)\text{\hspace{1em}(2.23)}$$
最后，以反方向推导。给定转换$p(x_{k+1}|x_k,u_k)$， 定义 $w_k:=x_{k+1}$ 和
$$f_k(x_k,u_k,w_k):=x_{k+1}\text{\hspace{1em}(2.24)}$$
可以看到$p\left(w_k\mid x_k,u_k\right)=p\left(x_{k+1}\mid x_k,u_k\right)$，所以扰动$w_k$独立于$(x_k,u_k)$。

如果公式（1.2）中表示的系统函数$f_k$是双向的，那么系统方程模型和状态转换模型是一一对应的。然而，系统方程模型可以被认为是更加面向过程的，而转换概率模型则更加面向结果。通过将过程的不确定性聚集在转换的不确定性中，转换概率模型往往对范围内知识的缺乏更加稳健，并且对应用更加友好。在本稿的其余部分，我们仅限于用MDP模型来研究SDM问题。

因此，可以用MDP等效地表述一个具有有限范围的SDM问题，具体如下。

Definition 2.5 有限范围的马尔科夫决策过程 (MDP with finite horizon).
给定一个MDP模型 { X , U , p , g k , N } \left\{\mathcal{X}, \mathcal{U}, p, g_{k}, N\right\} {X,U,p,gk​,N} , 对于任何$x_0\in {\mathcal{X}}_0$ ，其目标是找到一个动作序列 μ 0 : = { u 0 , u 1 , … , u N − 1 } ∈ U 0 × … × U N − 1 \mu_{0}:=\left\{u_{0}, u_{1}, \ldots, u_{N-1}\right\} \in \mathcal{U}_{0} \times \ldots \times \mathcal{U}_{N-1} μ0​:={u0​,u1​,…,uN−1​}∈U0​×…×UN−1​ , 来解决以下最小化问题
$$\underset{{\mu }_0}{\min }{\mathbb{E}}_{p(\chi ,\mu )}\left[g_N\left(x_N\right)+\sum _{k=0}^{N-1}{g}_k\left(x_k,u_k,x_{k+1}\right)\right]$$
其中 $\chi =x_0,....,x_N$是一个可接受的结果状态序列，从$x_0$开始，遵循行动${\mu }_0$。

2.3 A zoo of polices

尽管确定性马尔可夫策略的定义可以很容易地被工程上的简单性所证明，但考虑具有历史依赖性策略的可能性仍然是自然和直观的。在本节中，我们研究了历史依赖性策略的可能性和（非）必要性。

Definition 2.6 通用策略(Generic policy).

给定一个有限范围 MDP { X , U , p , g k , N } \left\{\mathcal{X}, \mathcal{U}, p, g_{k}, N\right\} {X,U,p,gk​,N} , 使 ${\mathcal{Z}}_k$ 为在状态$k$时的一个观测集。 策略 ${\pi }_k$是从阶段性的观测${\mathcal{Z}}_k$ 到可接受动作空间 ${\mathcal{U}}_k$ 的映射, i.e., ${\pi }_k:{\mathcal{Z}}_k\to {\mathcal{U}}_k$ .

Definition 2.7 通用总成本函数 (Generic total cost function).
给定一个有限范围 MDP { X , U , p , g k , N } \left\{\mathcal{X}, \mathcal{U}, p, g_{k}, N\right\} {X,U,p,gk​,N}, 我们定义$\mathfrak{P}$为所有可行的策略。 对于所有$x_0\in {\mathcal{X}}_0$， 策略$\pi \in \mathfrak{P}$的总的成本函数为
$$J_0^{\pi }\left(x_0\right):={\mathbb{E}}_{p_{\pi }(\chi ,\mu )}\left[g_N\left(x_N\right)+\sum _{k=0}^{N-1}{g}_k\left(x_k,u_k,x_{k+1}\right)\mid u_k\sim {\pi }_k\left(\cdot \mid z_k\right)\right]\text{\hspace{1em}(2.26)}$$

其中，根据策略生成的轨迹的联合概率$(\chi ,\mu )$ 定义如下
$$\begin{array}{rl}{p}_{\pi }(\chi ,\mu )& =p\left(x_N,u_{N-1},x_{N-1},\dots ,x_1,u_0\mid x_0\right)\\ & =\prod _{k=0}^{N-1}{\pi }_k\left(u_k\mid x_k\right)p\left(x_{k+1}\mid x_k,u_k\right)\end{array}\text{\hspace{1em}(2.27)}$$

现在，我们需要对观察空间${\mathcal{Z}}_k$进行更具体的说明。，它决定了解决方案的可行性和效率，使策略空间中的总成本函数最小。通常，有两种直观的观察值选择来构建策略空间，即当前阶段的状态和到当前阶段的轨迹。让我们用${\mathcal{H}}_k$表示到阶段$k$的轨迹集，用${\mathcal{X}}_k$表示阶段$k$的状态集。然后，我们可以定义以下两类策略。

Definition 2.8 历史依赖性策略(History-dependent Policy).
历史依赖性策略是基于历史的决策规则, 即${\pi }_h^{(k)}:{\mathcal{H}}_k\to {\mathcal{U}}_k$。具体地，我们有

1. 确定性策略: ${\pi }_h^{(k)}\left(h_k\right)=u_k$ ;
2. 随机性策略: ${\pi }_h^{(k)}\left(h_k\right)\sim p\left(u_k\mid h_k\right)$ .

Definition 2.9 历史无关性策略(History-independent Policy).
历史无关性策略，也被称为马尔科夫策略，是一个只基于当前状态的决策规则，即${\pi }_m^{(k)}:{\mathcal{X}}_k\to {\mathcal{U}}_k$。具体地，我们有

1. 确定性策略: ${\pi }_m^{(k)}\left(x_k\right)=u_k$ ;
2. 随机性策略: ${\pi }_m^{(k)}\left(x_k\right)\sim p\left(u_k\mid x_k\right)$

根据以上两个定义，我们最终有四类可行的策略，即确定性的马尔科夫策略${\mathfrak{P}}_{dm}$，随机马尔科夫策略${\mathfrak{P}}_{sm}$，确定的历史依赖性策略${\mathfrak{P}}_{dh}$，随机的依赖历史的策略${\mathfrak{P}}_{sh}$。这些类别的策略之间的关系可以很容易地确定为。${\mathfrak{P}}_{dm}\subset {\mathfrak{P}}_{dh}\subset {\mathfrak{P}}_{sh}$ 和 ${\mathfrak{P}}_{dm}\subset {\mathfrak{P}}_{sm}\subset {\mathfrak{P}}_{sh}$。 我们参考图4来说明这四类策略之间的关系。特别是，很明显，集合${\mathfrak{P}}_{dm}$是最小的策略子集，在随机性和马尔科夫性方面是可以确定的。那么，研究这些不同的策略选择之间的潜在优势或劣势就具有相当的实际意义和重要性，这样就可以为具体的应用选择一套合适的策略。

图4 zoo of policy

根据公式（2.27）中给出的通用总成本函数的定义，很明显，如果两个策略对所有初始状态产生相同的轨迹分布$p_{\pi }（\chi ,\mu ）$，那么总成本函数也是相同的。具体来说，回顾随机策略作为条件概率的构造，经典的贝叶斯规则直接导致了公式（2.27）中轨迹的联合概率的因子化，即

$$p_{\pi }(\chi ,\mu )=\prod _{k=0}^{N-1}\frac{p\left(x_k,u_k\right)}{p\left(x_k\right)}p\left(x_{k+1}\mid x_k,u_k\right)\text{\hspace{1em}(2.28)}$$

因此，如果两个策略在所有状态$k=0,\dots ,N-1$时产生相同的分布$p\left(x_k\right)$和$p\left(x_k,u_k\right)$，那么相关的总成本函数也是相同的。

Proposition 2.4 随机马尔科夫策略的充分性 (Adequacy of stochastic Markov policy)

给定一个有限范围的MDP模型 { X , U , p , g k , N } \left\{\mathcal{X}, \mathcal{U}, p, g_{k}, N\right\} {X,U,p,gk​,N},令${\pi }_{sh}$为一个随机性的历史依赖性策略。然后这里存在一个随机的马尔科夫策略${\pi }_{sm}$, 以至于归集的联合概率分布符合历史依赖性策略， 即
$$p_{{\pi }_{sh}}(\chi ,\mu )=p_{{\pi }_{sm}}(\chi ,\mu )\text{\hspace{1em}(2.29)}$$

证明：定义 π : = { π 0 , π 1 , … , π N − 1 } ∈ P s h \pi:=\left\{\pi_{0}, \pi_{1}, \ldots, \pi_{N-1}\right\} \in \mathfrak{P}_{s h} π:={π0​,π1​,…,πN−1​}∈Psh​为随机性历史依赖策略。$p\left(x_k\right)和p\left(x_k,u_k\right)$是$x_k$的相应分布。$x_k\in {\mathcal{X}}_k$和$\left(x_k,u_k\right)\in {\mathcal{X}}_k\times {\mathcal{U}}_k$在的相应分布。然后，我们可以构建一个随机的马尔科夫策略${\pi }^{{}^{\prime }}:=\left\{{\pi }_0^{\prime },{\pi }_1^{\prime },\dots ,{\pi }_{N-1}^{\prime }\right\}$。其中${\pi }_k$对所有$k$定义为

$${\pi }_k^{\prime }\left(u_k\mid x_k\right):=\frac{p\left(x_k,u_k\right)}{p\left(x_k\right)}\text{\hspace{1em}(2.30)}$$

让我们定义 $p^{\prime }\left(x_k\right)$ 和$p^{\prime }\left(x_k,u_k\right)$ 为$x_k\in {\mathcal{X}}_k$ 和 $\left(x_k,u_k\right)\in {\mathcal{X}}_k\times {\mathcal{U}}_k$的分布 。所以对于所有 $k=1,\dots ,N-1$，有以下结论，

$$p\left(x_k\right)=p^{\prime }\left(x_k\right)\text{\hspace{1em}(2.31)}$$

和

$$p_{k+1}\left(x_{k+1},u_{k+1}\right)=p_{k+1}^{\prime }\left(x_{k+1},u_{k+1}\right)\text{\hspace{1em}(2.32)}$$

现在我们对（3.31）与（3.32）进行推导。 对于 $k=0$ , 非常明显的是$p\left(x_0\right)=p^{\prime }\left(x_0\right)$, 和

$$\begin{array}{rl}{p}^{\prime }\left(x_0,u_0\right)& =p^{\prime }\left(x_0\right){\pi }_0^{\prime }\left(u_0\mid x_0\right)\\ & =p\left(x_0^{\prime }\right)\frac{p\left(x_0,u_0\right)}{p\left(x_0\right)}\\ & =p\left(x_0,u_0\right)\end{array}\text{\hspace{1em}(2.33)}$$

让我们假设公式（2.31）中的结果对任意一个 $k$的。然后对于 $k+1$ , 根据归纳法我们有

$$\begin{array}{rl}{p}^{\prime }\left(x_{k+1}\right)& =\sum _{x_k,u_k}{p}^{\prime }\left(x_k,u_k\right)p\left(x_k,u_k,x_{k+1}\right)(?)\\ & =\sum _{x_k,u_k}{p}^{\prime }\left(x_k\right){\pi }_k^{\prime }\left(u_k\mid x_k\right)p\left(x_k,u_k,x_{k+1}\right)(\text{bayes rule})\\ & =\sum _{x_k,u_k}{p}^{\prime }\left(x_k\right)\frac{p\left(x_k,u_k\right)}{p\left(x_k\right)}p\left(x_k,u_k,x_{k+1}\right)\\ & =\sum _{x_k,u_k}p\left(x_k,u_k\right)p\left(x_k,u_k,x_{k+1}\right)(\text{归纳假设:}p(x_k)=p^{\prime }(x_k))\\ & =p\left(x_{k+1}\right)\end{array}\text{\hspace{1em}(2.34)}$$

其中第二个等式是由于贝叶斯规则，第四个等式是由归纳假设(i. e. $p(x_k)=p^{\prime }(x_k)$)得出的。同样地，我们得到

$$\begin{array}{rl}{p}^{\prime }\left(x_{k+1},u_{k+1}\right)& =p^{\prime }\left(x_{k+1}\right){\pi }_k^{\prime }\left(u_{k+1}\mid x_{k+1}\right)\\ & =p^{\prime }\left(x_{k+1}\right)\frac{p\left(x_{k+1},u_{k+1}\right)}{p\left(x_{k+1}\right)}\\ & =p\left(x_{k+1},u_{k+1}\right)\end{array}\text{\hspace{1em}(2.35)}$$

上述分析表明，从相互作用的概率特征来看，随机马尔科夫策略与随机历史依赖策略的表现相当好。所以，所有的总成本函数和最佳总成本函数对随机马尔科夫策略和历史依赖策略都是重合的。 因此，马尔科夫策略是研究MDP问题的通用策略集。请注意，尽管马尔科夫策略有这样的充分性，但具体策略的性能仍然在很大程度上取决于MDP模型的构建。

在本章的其余部分，我们进一步研究策略的搜索空间，即确定性马尔科夫策略的集合。也就是说，我们比较了随机马尔科夫策略和确定性马尔科夫策略的总成本函数的最优性。

Definition 2.10 一个最佳的随机总成本函数被定义为

$$J_{sm}^{\ast }\left(x_0\right):=\underset{\pi \in {\mathfrak{P}}_{sm}}{\min }{J}_0^{\pi }\left(x_0\right),\forall x_0\in {\mathcal{X}}_0\text{\hspace{1em}(2.36)}$$

一个最佳的随机策略 ${\pi }^{\ast }$ 是

$${\pi }_{sm}^{\ast }\mid \left(x_0\right)\in \underset{\pi \in {\mathfrak{P}}_{sm}}{\mathrm{argmin}}{J}_0^{\pi }\left(x_0\right)\text{\hspace{1em}(2.37)}$$

Definition 2.11 一个最佳的确定性总成本函数被定义为

$$J_{dm}^{\ast }\left(x_0\right):=\underset{\pi \in {\mathfrak{P}}_{dm}}{\min }{J}_0^{\pi }\left(x_0\right),\forall x_0\in {\mathcal{X}}_0\text{\hspace{1em}(2.38)}$$

一个最佳的确定性策略 ${\pi }_{dm}^{\ast }$ 是

$${\pi }_{dm}^{\ast }\left(x_0\right)\in \underset{\pi \in {\mathfrak{P}}_{dm}}{\mathrm{argmin}}{J}_0^{\pi }\left(x_0\right)\text{\hspace{1em}(2.39)}$$

随机性马尔科夫和确定性马尔科夫的联系在下面的结果中得到了描述。

Proposition 2.5 给定一个有限范围的 MDP ⁡ { X , U , p , g k , N } \operatorname{MDP}\left\{\mathcal{X}, \mathcal{U}, p, g_{k}, N\right\} MDP{X,U,p,gk​,N},存在一个确定的马尔科夫策略，它不比最佳随机马尔科夫策略差。

证明： 令${\pi }_{sm}^{\ast }\in {\mathfrak{P}}_{sm}$最佳随机马尔科夫策略, 和${\pi }_{dm}^{\ast }\in {\mathfrak{P}}_{dm}$最佳确定性马尔科夫策略。由于假定确定性马尔科夫策略的集合是有限的，所以我们得到

$$J_{{\pi }_{dm}^{\ast }}\left(x_0\right)=\underset{{\pi }_{dm}\in {\mathfrak{P}}_{dm}}{\min }{J}_{{\pi }_{dm}}\left(x_0\right)\text{\hspace{1em}(2.40)}$$

对于给定的最佳随机策略 ${\pi }_{sm}^{\ast }$ , 我们定义

$$p_{{\pi }_{sm}^{\ast }}\left(x_0\right)=\prod _{k=0}^{N-1}{\pi }_{sm,k}^{\ast }\left(u_k\mid x_k\right)\text{\hspace{1em}(2.41)}$$
其中 ${\pi }_{sm,k}^{\ast }\left(u_k\mid x_k\right)$ 定义为在 $k$状态的最佳随机策略，对于一个固定的终止性马尔科夫策略，我们可以得到

$$p_{{\pi }_{dm}}\left(x_0\right)=\prod _{k=0}^{N-1}p\left(x_{k+1}\mid x_k,u_k\right)\text{\hspace{1em}(2.42)}$$

直接可以得到，
$$\begin{array}{rl}{J}_{{\pi }_{sm}^{\ast }}\left(x_0\right)& ={\mathbb{E}}_{p_{{\pi }_s^{\ast }m}(\chi ,\mu )}\left[g_N\left(x_N\right)+\sum _{k=0}^{N-1}{g}_k\left(x_k,u_k,x_{k+1}\right)\right]\\ & ={\mathbb{E}}_{p_{{\pi }_{sm}^{\ast }}\left(x_0\right)}\left[{\mathbb{E}}_{p_{{\pi }_{dm}}\left(x_0\right)}\left[g_N\left(x_N\right)+\sum _{k=0}^{N-1}{g}_k\left(x_k,u_k,x_{k+1}\right)\right]\right]\\ & ={\mathbb{E}}_{p_{{\pi }_{sm}}\left(x_0\right)}\left[J_{{\pi }_{dm}}\left(x_0\right)\right]\\ & \ge J_{{\pi }_{dm}^{\ast }}\left(x_0\right)\end{array}\text{\hspace{1em}(2.43)}$$

显然，我们有 $J_{{\pi }_{sm}^{\ast }}\left(x_0\right)\ge J_{{\pi }_{dm}^{\ast }}\left(x_0\right)$ for all $x_0\in {\mathcal{X}}_0$

这一结果简单地表明，在随机马尔科夫策略集${\mathfrak{P}}_{sm}$中，全局最优总成本函数总是可以在确定性马尔科夫策略子集${\mathfrak{P}}_{dm}$中找到。因此，在不丧失一般性的情况下，我们在其余部分将策略集限制为确定性的马尔可夫${\mathfrak{P}}_{dm}$。

Definition 2.12 有限范围的确定性马尔科夫决策(Deterministic Markov decision making with finite horizon)

给定一个MDP { X , U , p , g k , N } \left\{\mathcal{X}, \mathcal{U}, p, g_{k}, N\right\} {X,U,p,gk​,N} , 一个以非稳态策略为目标的有限范围问题 π ~ 0 : = { π 0 , … , π N − 1 } ∈ P d m \tilde{\pi}_{0}:=\left\{\pi_{0}, \ldots, \pi_{N-1}\right\} \in \mathfrak{P}_{d m} π~0​:={π0​,…,πN−1​}∈Pdm​ 有${\pi }_k:{\mathcal{X}}_k\to {\mathcal{U}}_k$, 所以对于所有$x_0\in {\mathcal{X}}_0$ , 我们有

$$\underset{\pi \in {\mathfrak{P}}_{dm}}{\min }{\mathbb{E}}_{p_{\pi }(\chi ,\mu )}\left[g_N\left(x_N\right)+\sum _{k=0}^{N-1}{g}_k\left(x_k,u_k,x_{k+1}\right)\right]\text{\hspace{1em}(2.44)}$$