强化学习之动态规划

动态规划（Dynamic Propramming）

当一个精确的环境模型时，可以用动态规划去解决。总体来说，就是将一个问题分解成子问题，通过解决子问题来解决原问题。动态指针对序列问题，规划指优化，找到策略。
动态规划解决的问题具备两种性质：

• 最优子结构
  
  • 满足最优性原理
  • 最优的解可以被分解成子问题的最优解
• 交叠式子问题
  
  • 子问题能够被多次重复
  • 子问题的解要能够被缓存并再利用

MDPs满足以上两个特性：
- 贝尔曼方程用递归的形式，把问题分解成子问题
- 值函数有效的存储了子问题的解，能够再利用
因此动态规划可以应用于MDPs的问题，使用动态规划解决强化学习问题时，要求指导MDPs的所有元素：

• 评价
  
  • 输入：MDP<S,A,P,R,$\gamma$> 和策略$\pi$ 或者 MRP<S,$P^{\pi},R^{\pi},\gamma$>
  • 输出：值函数$v_{\pi}$
• 优化
  
  • 输入： MDP<S,A,P,R,$\gamma$>
  • 输出：最优值函数$v_*$ 和最优策略$\pi_{*}$

策略评价

问题：给定一个策略$\pi$，求对应的值函数$v_{\pi}(s)　or　q_{\pi}(s,a)$
解决方法：

• 直接解：$v_{\pi}=(1-\gamma P^{\pi})^{-1}R^{\pi}$

  • 可以直接求得精确解
  • 时间复杂度比较高$O(n^3)$

• 迭代解：$v_1->v_2->...->v_{\pi}$

  • 利用贝尔曼期望方程迭代求解，可以收敛到最优解

  贝尔曼期望方程：
  

  $$v_{\pi}(s)=\sum_{a \in A}\pi(a|s)(R(s,a)+\gamma \sum_{s^{'} \in S}P_{ss^{'}}^av_{\pi}(s^{'}))$$
  可以得到如下迭代等式：
  $$v_{k+1}(s)=\sum_{a \in A}\pi(a|s)(R(s,a)+\gamma \sum_{s^{'} \in S}P_{ss^{'}}^av_{k}(s^{'}))$$
  简写为
  $$v^{k+1}=R^{\pi}+\gamma P^{\pi}v^k$$

同步备份下的迭代式策略评价算法

• 备份：$v_{k+1}(s)$需要用到$v_k(s^{'})$，用$v_k(s^{'})$更新$v_{k+1}(s^{'})$的过程称为备份。更新状态s的值函数称为备份状态s
• 同步：每次更新都需要更新完所有的状态

#伪代码
for k=1,2,... do
    for 所有状态s in S do
        使用迭代式更新值函数v
    end for
end for

策略提升

策略性价值函数通过筛选方式来改进策略，有几个常见的策略筛选方式：
贪婪策略，e-greedy策略，高斯策略，玻尔兹曼策略

策略提升定理
对于两个确定的策略$\pi^{'}$和$\pi$，如果满足$q_{\pi}(s,\pi^{'}(s)) \geq v_{\pi}(s)$，那么我们可以得到

vπ′(s)