【强化学习】强化学习数学基础：值迭代与策略迭代

1. 值迭代算法（Value iteration algorithm）

如下，如何求解Bellman Optimality Equation？$$v=f(v)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }v)$$
根据之前的内容，我们知道可以采用contraction mapping theorem使用迭代算法求解：$$v_{k+1}=f(v_k)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k),k=1,2,3,...$$，其中$v_0$是一个任意值。

• 该算法最终能够发现最优状态值（optimal state value）和一个最优策略（optimal policy）
• 该算法被称为value iteration

值迭代算法详细过程：$$v_{k+1}=f(v_k)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k),k=1,2,\mathrm{3...}$$可以分解为两部：

• Step 1: policy update， 这一步是求解$${\pi }_{k+1}=arg\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k)$$其中$v_k$是给定的
• Step 2: value update， $$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$

问题：$v_k$是不是一个state value？当然不是，因为不能确定$v_k$满足一个贝尔曼等式（Bellman equation）。

接下来，我们要研究elementwise form，目的是实现算法。

• Matrix-vector form适合于理论分析
• Elementwise form适合算法实现

Step1: Policy update
elementwise form如下：$${\pi }_{k+1}=arg\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k)$$即

上面最优化问题的最优解是$${\pi }_{k+1}(a|s)=\{\begin{array}{ll}1& a=a_k^{\ast }(s)\\ 0& a\ne a_k^{\ast }(s)\end{array}$$其中$a_k^{\ast }=arg{\max }_a{q}_k(a,s)$。${\pi }_{k+1}$被称为greedy policy，因为简单地选择最大的q-value。

Step2: Value update
elementwise form:$$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$即

因为${\pi }_{k+1}$是greedy，上面等式可以简化为$$v_{k+1}(s)=\underset{a}{\max }{q}_k(a,s)$$

过程总结：
$$v_k(s)\to q_k(s,a)\to \text{ greedy policy }{\pi }_{k+1}(a|s)\to \text{ new value }{v}_{k+1}=\underset{a}{\max }{q}_k(s,a)$$

举个例子：
奖励设定（reward setting）为：$r_{boundary}=r_{forbidden}=-1,r_{target}=1$。折扣率（discount rate）$\gamma =0.9$

q-table：$q(s,a)$的表达式如下：

当$k=0$，令$v_0(s_1)=v_0(s_2)=v_0(s_3)=v_0(s_4)=0$，q-table如下：

Step1： Policy update:
$${\pi }_1(a_5|s_1)=1,{\pi }_1(a_3|s_2)=1,{\pi }_1(a_2|s_3)=1,{\pi }_1(a_5|s_4)=1$$
策略更新如图（b）所示。
Step2：Value update
$$v_1(s_1)=0,v_1(s_2)=1,v_1(s_3)=1,v_1(s_4)=1$$

k=1：因为我们有$v_1(s_1)=0,v_1(s_2)=1,v_1(s_3)=1,v_1(s_4)=1$，得到新的q-table：

Step1: Policy update
$${\pi }_2(a_3|s_1)=1,{\pi }_2(a_3|s_2)=1,{\pi }_2(a_2|s_3)=1,{\pi }_2(a_5|s_4)=1$$
Step2: Value update
$$v_2(s_1)=\gamma 1,v_2(s_2)=1+\gamma 1,v_2(s_3)=1+\gamma 1,v_2(s_4)=1+\gamma 1$$
策略更新如图（c）
注意：当前策略已经是最优的。

k=2,3,…,当$||v_k-v_{k+1}||$小于一个预定义的阈值的时候停止。

2. 策略迭代算法（Policy iteration algorithm）

首先给出策略迭代算法的描述：
给定一个随机初始策略${\pi }_0$，
Step1：策略评估（policy evaluation, PE），这一步是计算${\pi }_k$的state value$$v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$$
注意：$v_k$是一个state value function
Step2：策略改善（policy improvement， PI）$${\pi }_{k+1}=arg\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$$
The maximization is componentwise！

算法流程：

相关问题：

问题1：在Policy evaluation步，如何通过求解贝尔曼公式得到state value $v_{{\pi }_k}$？$$v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$$

• Closed-form Solution: $$v_{{\pi }_k}=(I-\gamma P_{{\pi }_k}{)}^{-1}{r}_{{\pi }_k}$$
• Iterative solution: $$v_{{\pi }_k}^{(j+1)}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}^{(j)},j=0,1,2,...$$

Policy iteration is an iterative algorithm with another iterative algorithm embedded in the policy evaluation step!
问题2：在Policy improvement步，为什么新的策略${\pi }_{k+1}$比${\pi }_k$好？

问题3：为什么iterative algorithm最终可以找到一个最优策略？
因为随着每次迭代，策略会逐步优化，即$$v_{{\pi }_0}\le v_{{\pi }_1}\le v_{{\pi }_2}\le ...\le v_{{\pi }_k}\le ...\le v^{\ast }$$
其结果就是$v_{{\pi }_k}$会不断增加，最终收敛，可以证明塔收敛到$v^{\ast }$。

问题4：策略迭代和值迭代之间有什么关系？
这个问题跟问题3中的策略迭代定理有关。

如何具体实现Policy iteration algorithm——Elementwise form？
Step1: Policy evaluation

• Matrix-vector form: $$v_{{\pi }_k}^{(j+1)}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}^{(j)},j=0,1,2,...$$
• Elementwise form：
  
  当$j\to \infty \text{ or }j$是足够大，或者$||v_{{\pi }_k}^{(j+1)}-v_{{\pi }_k}^{(j)}||$是足够小的时候停止。

Step2: Policy improvement

• Matrix-vector form: ${\pi }_{k+1}=arg{\max }_{\pi }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$
• Elementwise form
  
  这里，$q_{{\pi }_k}(s,a)$是基于策略${\pi }_k$的action value。令$$a_k^{\ast }(s)=arg\underset{a}{\max }{q}_{{\pi }_k}(a,s)$$
  那么，the greedy policy是$${\pi }_{k+1}(a|s)=\{\begin{array}{ll}1& a=a_k^{\ast }(s)\\ 0& a\ne a_k^{\ast }(s)\end{array}$$

Policy iteration algorithm——Implementation

举个例子：

奖励设定（reward setting）是$r_{boundary}=-1$且$r_{target}=1$，折扣率（discount rate）$\gamma =0.9$
Action：$a_l,a_0,a_r$分别表示向左，原地不动，向右
Aim：使用策略迭代找到最优策略
迭代轮数k=0：Step 1: policy evaluation
如图（a），${\pi }_0$是初始策略。贝尔曼方程如下：
$$v_{{\pi }_0}(s_1)=-1+\gamma v_{{\pi }_0}(s_1)$$$$v_{{\pi }_0}(s_2)=0+\gamma v_{{\pi }_0}(s_1)$$

• 直接求解等式：$$v_{{\pi }_0}(s_1)=-10,v_{{\pi }_0}(s_2)=-9$$
• 迭代求解等式。选择初始猜测为$v_{{\pi }_0}^{(0)}(s_1)=v_{{\pi }_0}^{(0)}(s_2)=0$：
  
  迭代轮数k=0：Step 2: policy improvement
  $q_{{\pi }_k}(s,a)$的表示如下：
  
  用$v_{{\pi }_0}(s_1)=-10,v_{{\pi }_0}(s_2)=-9$和$\gamma =0.9$带入之后，得到
  
  通过选择$q_{{\pi }_0}$的最大值，the improved policy是：$${\pi }_1(a_r|s_1)=1,{\pi }_1(a_0|s_2)=1$$
  经过一次迭代，策略被优化。在具体实现中，需要持续迭代过程直到某个评价标准被满足。

一个复杂的例子：令$r_{boundary}=-1,r_{forbidden}=-10$且$r_{target}=1$，折扣率（discount rate）$\gamma =0.9$，可以检查这些中间策略和状态值。


可以发现，接近目标的状态策略是先变好，远离目标的状态策略会后变好。

3. Truncated policy iteration algorithm

首先，比较value iteration和policy iteration：
Policy Iteration: 从一个初始策略${\pi }_0$开始：

• Policy evaluation (PE): $$v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$$
• Policy improvement (PI): $${\pi }_{k+1}=arg\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$$

Value Iteration: 从一个值$v_0$开始：

• Policy update (PU):$${\pi }_{k+1}=arg\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k)$$
• Value update (VU): $$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$

然后，比较这两个算法的迭代流程：

然后，详细比较这两个算法的步骤：

• 它们从相同的初始条件出发
• 前三步是相同的
• 在第四步变得不同：
  • 在policy iteration，求解$v_{{\pi }_1}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}$需要一个迭代算法（无限数量的迭代）
  • 在value iteration, $v_1=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_0$，是一个one-step iteration。

考虑求解$v_{{\pi }_1}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}$的步骤：

• value iteration algorithm计算one
• policy iteration algorithm计算an infinite number of iterations
• The truncated policy iteration algorithm计算a finite number of iterations（称为j）。剩下的从j到∞的迭代是truncated（截断）。

Truncated policy iteration——伪代码

问题1：是否这个截断（truncation）会削弱收敛（convergence）？

如下图所示：说明了value iteration，policy iteration和truncated policy iteration之间的关系。

举个例子：初始策略是每个状态都待在原地不动

定义$||v_k-v^{\ast }||$是在时刻$k$的state value error。停止标准是$||v_k-v^{\ast }||<0.01$。仿真结果如下：

”Truncated-policy iteration-x“，其中x=1,3,4,100对应一个policy evalutaion step执行x次迭代的truncated policy iteration algorithm. 根据上图，结论是：

• 当x更大的时候，能够更快的收敛
• 但是当x继续增大，这种加快的速率会逐渐放慢
• 实际上，在policy evaluation step中执行一个很小的迭代次数

总结

• Value iteration: 是一个迭代算法，用于求解贝尔曼最优公式。给定一个初始值$v_0$，
  
• Policy iteration：给定一个初始策略${\pi }_0$，
  
• Truncated policy iteration

内容来源

1. 《强化学习的数学原理》 西湖大学 赵世钰教授
2. 《动手学强化学习》 俞勇 著