65、动态规划与强化学习中的高效探索

动态规划与强化学习中的高效探索

动态规划算法

价值迭代与策略迭代

动态规划在解决马尔可夫决策过程（MDP）中起着关键作用。价值迭代能够在有限的迭代次数内，找到一个期望总折扣奖励与最优值相差在 ε 范围内的策略。它有许多变体，例如使用不同的停止准则来加速收敛，或者将其与下面要介绍的策略迭代算法相结合。

策略迭代则是通过一系列策略的迭代，最终收敛到最优策略。其具体步骤如下：
1. 设定 $d_0 \in D$ 为任意策略，令 $n = 0$。
2. （策略评估）通过求解 $v_n = (I - \gamma P_{d_n})^{-1} r_{d_n}$ 得到 $v_n$。
3. （策略改进）选择 $d_{n + 1}$ 满足 $d_{n + 1} \in \arg\max_{d \in D} { r_d + \gamma P_d v_n }$ 逐分量成立。若 $d_n$ 在这个集合中，则选择 $d_{n + 1} = d_n$。
4. 若 $d_{n + 1} = d_n$，设定 $d^* = d_n$ 并停止；否则，令 $n \leftarrow n + 1$ 并返回步骤 2。

价值迭代和策略迭代有着不同的概念基础。价值迭代使用逐次逼近的方法寻找算子 $L$ 的不动点，而策略迭代可以看作是使用牛顿法来求解 $Lv - v = 0$。

线性规划方法

解决折扣无限期 MDP 的第三种方法利用了算子 $L$ 的单调性。若 $Lv \leq v$，则 $L^2v \leq Lv$，更一般地，$L^kv \leq v$。通过归纳可知，最优策略的值函数 $v^ $ 小于或等于任