蒙特卡洛价值预测

蒙特卡洛价值预测

蒙特卡洛价值估计

目标：从策略 $\pi$ 下的经验片段学习 $V^{\pi }$

$$s_0^{(i)}\underset{R_1^{(i)}}{\overset{a_0^{(i)}}{\to }}{s}_1^{(i)}\underset{R_2^{(i)}}{\overset{a_1^{(i)}}{\to }}{s}_2^{(i)}\underset{R_3^{(i)}}{\overset{a_2^{(i)}}{\to }}{s}_3^{(i)}\cdots s_T^{(i)}\sim \pi$$

回顾：累积奖励（return）是总折扣奖励

$$G_t=R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{T-1}{R}_T$$

回顾：值函数（value function）是期望累积奖励

$$\begin{array}{rl}{V}^{\pi }(s)& =\mathbb{E}[R(s_0)+\gamma R(s_1)+{\gamma }^{2}R(s_2)+\cdots |s_0=s,\pi ]\\ & =\mathbb{E}[G_t|s_t=s,\pi ]\\ & \simeq \frac{1}{N}\sum _{i=1}^N{G}_t^{(i)}\end{array}$$

• 使用策略 $\pi$ 从状态 $s$ 采样N个片段
• 计算平均累计奖励

经验均值累计奖励

蒙特卡洛策略评估使用经验均值累计奖励而不是期望累计奖励

实现过程：使用策略 $\pi$ 采样片段

$$s_0^{(i)}\underset{R_1^{(i)}}{\overset{a_0^{(i)}}{\to }}{s}_1^{(i)}\underset{R_2^{(i)}}{\overset{a_1^{(i)}}{\to }}{s}_2^{(i)}\underset{R_3^{(i)}}{\overset{a_2^{(i)}}{\to }}{s}_3^{(i)}\cdots s_T^{(i)}\sim \pi$$

在一个片段中的每个时间步长 $t$ 的状态 $s$ 都被访问

• 增量计数器 $N(s)\leftarrow N(s)+1$
• 增量总累计奖励 $S(s)\leftarrow S(s)+G_t$
• 值被估计为累计奖励的均值 $V(s)=S(s)/N(s)$
• 由大数定律有

$$V(s)\to V^{\pi }(s)asN(s)\to \infty$$

增量蒙特卡洛更新

每个片段结束后逐步更新 $V(s)$
对于每个状态 $S_t$ 和对应累计奖励 $G_t$

$$N(S_t)\leftarrow N(S_t)+1$$

$$V(S_t)\leftarrow V(S_t)+\frac{1}{N(S_t)}(G_t-V(S_t))$$

对于非稳定的问题（环境会随时间发生变化），我们可以跟踪一个现阶段的平均值（不考虑过久之前的片段）

$$V(S_t)\leftarrow V(S_t)+\alpha (G_t-V(S_t))$$

$$\Downarrow$$

$$V(S_t)\leftarrow (1-\alpha )V(S_t)+\alpha G_t$$

思路： $V(S_t)\simeq \frac{1}{N}{\sum }_{i=1}^N{G}_t^{(i)}$

实现： $V(S_t)\leftarrow V(S_t)+\alpha (G_t-V(S_t))$

总结

• 蒙特卡洛方法：直接从经验片段进行学习
• 蒙特卡洛是模型无关的：未知马尔可夫决策过程的状态转移/奖励
• 蒙特卡洛从完整的片段中进行学习：没有使用bootstrapping的方法
• 蒙特卡洛采用最简单的思想：值（value）= 平均累计奖励（mean return）

只能将蒙特卡洛方法应用于可分片段的马尔可夫决策过程中
即，所有的片段都有终止状态

---

为什么蒙特卡洛算法只能用于可分片段的马尔可夫决策过程？

可分片段的含义是该马尔可夫决策过程长度有限，这样才能计算总折扣奖励，在实际操作中，如果遇到非常长的马尔可夫链或者无限马尔可夫链，一般使用后面的课程会提到的时序差分学习。