【动手学强化学习】part4-时序差分算法

阐述、总结【动手学强化学习】章节内容的学习情况，复现并理解代码。

---

一、算法背景

1.1目标

给定“黑盒”环境，求解最优policy

1.2问题

蒙特卡罗方法（Monte Carlo，MC）估计中，对于每一个q(s,a)的估计需要采样N个episode才能进行，时间效率低。
采用greedy策略，可能会在与环境交互过程中，导致某些(s,a)状态动作对永远没有在episode中出现。

1.3解决方法

• 🌟时序差分（Temporal Difference, TD）
  MC估计的核心思想
  $$\mathbb{E}[X]\approx \bar{x}:=\frac{1}{N}\sum _{i=1}^N{x}_i.$$
  令
  $$w_{k+1}=\frac{1}{k}\sum _{i=1}^k{x}_i,k=1,2,\dots$$
  则可推导出：
  $$w_{k+1}=w_k-\frac{1}{k}(w_k-x_k).$$
  同理，action value的定义式也为期望，那么则有：
  $$q_{k+1}=q_k-\frac{1}{k}(q_k-G_k).$$
  按定义而言 $G_k$ 为从(s,a)出发第k次采样episode的累计奖励值。因此基于上述推导，可以采取“增量式”的思想去估计q(s,a)，不必再像MC算法中需等待N个episode都采样完再估计q(s,a)值，边采样就能边估计：
  $$Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha [r_t+\gamma Q(s_{t+1},a_{t+1})-Q(s_t,a_t)]$$
  （❓这块的数学转换还有点没梳理清楚）

• 额外说明：
  ① TD error的定义：
  r t + γ Q ( s t + 1 , a t + 1 ) − Q ( s t , a t ) r_t+\gamma Q(s_{t+1},a_{t+1})-Q(s_t,a_t) rt​+γQ(st+1​,at+1​)−Q(st​,a<