【强化学习】强化学习数学基础：值迭代与策略迭代

1. 值迭代算法（Value iteration algorithm）

如下，如何求解Bellman Optimality Equation？$$v=f(v)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }v)$$
根据之前的内容，我们知道可以采用contraction mapping theorem使用迭代算法求解：$$v_{k+1}=f(v_k)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k),k=1,2,3,...$$，其中$v_0$是一个任意值。

• 该算法最终能够发现最优状态值（optimal state value）和一个最优策略（optimal policy）
• 该算法被称为value iteration

值迭代算法详细过程：$$v_{k+1}=f(v_k)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k),k=1,2,\mathrm{3...}$$可以分解为两部：

• Step 1: policy update， 这一步是求解$${\pi }_{k+1}=arg\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k)$$其中$v_k$是给定的
• Step 2: value update， $$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$

问题：$v_k$是不是一个state value？当然不是，因为不能确定$v_k$满足一个贝尔曼等式（Bellman equation）。

接下来，我们要研究elementwise form，目的是实现算法。

• Matrix-vector form适合于理论分析
• Elementwise form适合算法实现

Step1: Policy update
elementwise form如下：$${\pi }_{k+1}=arg\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k)$$即

上面最优化问题的最优解是$${\pi }_{k+1}(a|s)=\{\begin{array}{ll}1& a=a_k^{\ast }(s)\\ 0& a\ne a_k^{\ast }(s)\end{array}$$其中$a_k^{\ast }=arg{\max }_a{q}_k(a,s)$。${\pi }_{k+1}$被称为greedy policy，因为简单地选择最大的q-value。

Step2: Value update
elementwise form:$$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$即

因为${\pi }_{k+1}$是greedy，上面等式可以简化为$$v_{k+1}(s)=\underset{a}{\max }{q}_k(a,s)$$

过程总结：
$$v_k(s)\to q_k(s,a)\to \text{ greedy policy }{\pi }_{k+1}$$