强化学习——贝尔曼最优公式（三）

贝尔曼最优公式（Bellman Optimality Equation）

state value 可以用来评估策略的好坏，但如何选出最好的策略，那就需要 BOE。

1 最优策略（Optimal Policy）

在每个状态下，该策略的 state value 都大于其它策略的。即$v^{\ast }>v_{\pi }$。

2 贝尔曼最优公式

未知量为$\pi (a|s),v_{\pi }(s),v_{\pi }(s^{\prime })$，包含了最优策略和最优状态值。

2.1 Elementwise Form

$v_{\pi }(s)=\underset{\pi }{\max }\sum _a\pi (a|s)\left(\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })\right)$

2.2 Matrix-Vector Form

$v_{\pi }=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_{\pi })$

3 BOE 求解

3.1 策略求解

为了求得最大的 state value，就先求出使其最大的策略$\pi$也就是$\pi (a|s)$。使其最大化的策略一定是确定性的（deterministic）。
$$\pi (a|s)=\{\begin{array}{cc}0,& a\ne a^{\ast }\\ 1,& a=a^{\ast }\end{array}$$

3.2 state value 求解

为了解得最优的 state value，需要借助 Contraction Mapping Theorem。如果一个函数$f$符合 Contraction Mapping（$|f(v_1)-f(v_2)|\le \gamma |v_1-v_2|$）,那么它有三个性质：

1. 对于数列$v_{k+1}=f(v_k)$，存在不动点，即$v_{k+1}=v_k$。
2. 而且这个不动点$v^{\ast }$是唯一的。
3. 当$k\to \infty$，$v_k\to v\ast$。

已知 BOE 可以写成$v=f(v)$，而且符合 Contraction Mapping（证明略），则可以通过
$$\begin{gathered} v_{k+1}(s)=\underset{\pi }{\max }\sum _a\pi (a|s)\left(\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_k(s^{\prime })\right) \\ 或 \\ {v}_{k+1}=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k) \end{gathered}$$
不断迭代，当$k\to \infty$，$v_k\to v\ast$，$v^{\ast }$就是最优值。（此时依然不能证明$v^{\ast }$就是最优值）

3.3 最优策略求解

当$v取v^{\ast }$时，根据不动点的性质$v^{\ast }=f(v^{\ast })=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}^{\ast })=r_{{\pi }^{\ast }}+\gamma P_{{\pi }^{\ast }}{v}^{\ast }=\underset{a}{\max }{q}^{\ast }$，最优策略就是${\pi }^{\ast }=\underset{\pi }{\mathrm{argmax}}(r_{\pi }+\gamma P_{\pi }{v}^{\ast })$，证明如下：
$$\begin{array}{rl}{v}^{\ast }-v_{\pi }& \ge (r_{\pi }+\gamma P_{\pi }{v}^{\ast })-(r_{\pi }+\gamma P_{\pi }{v}_{\pi })=\gamma P_{\pi }(v^{\ast }-v_{\pi })\\ & \ge {\gamma }^2{P}_{\pi }^2(v^{\ast }-v_{\pi })\\ & ⋮\\ & \ge {\gamma }^n{P}_{\pi }^n(v^{\ast }-v_{\pi })\to 0,n\to \infty \end{array}$$
所以$v^{\ast }就是最优值，{\pi }^{\ast }就是最优策略$