【动手学强化学习】part3-蒙特卡洛算法

阐述、总结【动手学强化学习】章节内容的学习情况，复现并理解代码。

---

一、算法背景

1.1目标

给定环境，求解最优policy

1.2问题

动态规划算法是基于“白盒”，即环境模型（状态转移概率和奖励函数），基于v(s)初始值通过贝尔曼公式估计当前policy下最优v(s)，并估计q(s,a)值基于policy策略进行policy更新，直至达到最优policy。
❓若环境具有不确定性，即“黑盒”模型，不存在环境模型，如何估计v(s) or q(s,a)？

1.3解决方法

• 🌟蒙特卡洛估计（Monte Carlo，MC）
  由于算法目标都是求解最优policy，然而最优policy的定义为：
  
  因此在求解最优policy的过程中，无可避免地需要估计v(s) or q(s,a)。
  又因为v(s) q(s,a)的定义皆为期望，即：
  $$v_{\pi }(s)=\mathbb{E}[G_t|S_t=s]$$
  $$\begin{array}{r}{q}_{\pi }(s,a)=\mathbb{E}[G_t|S_t=s,A_t=a]\end{array}$$
  蒙特卡洛的基本思想是从“多次试验”的角度出发去估计期望，即：
  $$\mathbb{E}[X]=\sum _{x}xp(x)\approx \bar{x}=\frac{1}{N}\sum _{j=1}^N{x}_j$$
  基于q(s,a)的定义式，结合蒙特卡洛的思想可推导出：
  $$q_{\pi }(s,a)=E[G|S=s,A=a]\approx \bar{G}=\frac{1}{N}\sum _i{G}_i$$
  其中，i为不断与环境交互后产生的episode（状态-奖励链，一般由(s,a,r,s’)组成）的编号
  继而通过v(s)与q(s,a)的关系，估计v(s)
  $$v_{\pi }(s)=\sum _a\pi (a|s)\cdot q_{\pi }(s,a)$$
  因此，MC是通过不断与环境交互，采样多个episode以估计v(s) or q(s,a)。

二、MC basic算法

• 🌟算法类型
  环境依赖：❌model-based ✅model-free
  价值估计：✅non-incremental ❌incremental（需采样完成多个episode才进行q(s,a)估计）
  学习方式：✅on-policy ❌off-policy
  价值表征：✅tabular representation ❌function representation
  策略表征：✅value-based ❌policy-based

2.1 伪代码

其实算法流程是与policy iteration上大体一致，只是🌟在PE过程中采用蒙特卡洛方法去估计q(s,a)

算法流程简述：

①初始化：根据环境，初始化各state的state value，一般设置为0；policy同时也初始化，一般设置为每个state选取各action的概率相等
②价值评估（policy evaluation，PE）：以一个(s,a)为例，基于当前policy与环境交互直至走至terminal state，一个episode（状态-奖励链，即由(s,a,r,s’)组成的链）结束，不断循环直至产生N个episode，统计每个episode的return。然后，基于蒙特卡洛法估计q(s,a)。
③策略提升（policy improvement）：以greedy policy策略将各state中action value最大的值进行policy优化。
④终止判断：判断最近两次policy是否相等，若是则停止算法输出policy，若否则重复执行②③步。

三、MC exploring starts算法

• 🌟算法类型
  环境依赖：❌model-based ✅model-free
  价值估计：✅non-incremental ❌incremental（需采样完成单个完整的episode才进行q(s,a)估计）
  学习方式：✅on-policy ❌off-policy
  价值表征：✅tabular representation ❌function representation
  策略表征：✅value-based ❌policy-based

3.1 必要说明

❗存在问题：MC-basic算法中在估计特定q(s,a)时，需等到所有episodes（假定采样N个episode）生成后再取均值以更新q(s,a)，算法效率低。
🌟解决方法：每生成一个episode搭配first-visit/every-visit方法就进行q(s,a)更新，从进行policy更新。

first-visit

估计特定q(s,a)时，采样完成单个episode后，将episode内访问到的所有(s,a)均估计一次q(s,a)，但仅仅只在访问第一次时进行估计值的更新

every-visit

对于一个episode而言，将episode内访问到的所有(s,a)均估计一次q(s,a)，但重复访问同一个(s,a)时将取均值

3.2 伪代码

算法流程简述

与MC basic算法流程大致相同，PE+PI，只是PE过程中采用了first-visit方法，算法效率更高。

---

总结

• Monte Carlo法是首个model-free的方法，后续问题之中多数都是“黑盒”模型，需要通过不断与环境交互产生的episode进行*v(s) q(s,a)*值估计。