蒙特卡洛--首次/每次访问型MC算法的收敛性证明

蒙特卡洛首次/每次访问型方法的收敛性证明

1. 理论基础

关于什么是首次，什么是每次访问型MC，我这里就不再赘述了，直接开始讨论收敛性

1.1 价值函数定义

首先对于任意的s在$\pi$的价值函数为，回报函数的期望
$V_{\pi }(s)={\mathbb{E}}_{\pi }[G_t|S_t=s]$ 表示t时刻的状态为s，后续的所有的回报之和

蒙特卡洛估计，统计每一次的出现的s的回报的平均值作为s的价值函数的估计，显然其中n是出现的次数，无论此时是每次还是首次MC ：
${\hat{V}}_n(s)=\frac{1}{n}{\sum }_{i=1}^n{G}_i(s)$

2. 无偏性证明

2.1 基本定理

两种访问型蒙特卡洛估计是无偏的，即：

$\mathbb{E}[{\hat{V}}_n(s)]=E[V_{\pi }(s)]=V_{\pi }(s)$ 因为V本身就是期望的形式了

2.2 证明步骤

1. 首先，对于每个回报$G_i(s)$，有：
   $\mathbb{E}[G_i(s)|S_t=s]=V_{\pi }(s)$
   需要注意的是： 上面的式子在首次访问型MC是显然成立的，但是对于每次访问型我们需要保证MDP的性质，因为保证后面的s的回报和第一次的访问的事件无关，如果满足MDP性质，那么自然也成立

2. 由期望的线性性质：

   $\mathbb{E}[{\hat{V}}_n(s)]=\mathbb{E}[\frac{1}{n}{\sum }_{i=1}^n{G}_i(s)]$

   $=\frac{1}{n}{\sum }_{i=1}^n\mathbb{E}[G_i(s)]$

   $=\frac{1}{n}{\sum }_{i=1}^n{V}_{\pi }(s)$

   $=V_{\pi }(s)$

我们首先证明了在MDP的形式下，蒙特卡洛的估计对于价值函数是一个无偏的估计

3. 其中方差分析：
   $Var({\hat{V}}_n(s))=\frac{Var(G(s))}{n}$

3. 收敛性证明

我们将会使用大数定律来证明收敛性，当满足样本独立的时候，当样本数量趋于无穷时，样本均值收
如同前面的证明，每幕的首次显然是独立的，满足MDP状态的每次也是独立的样本都

3.1 大数定律应用

根据大数定律，

${\lim }_{n\to \infty }{\hat{V}}_n(s)=V_{\pi }(s)$ (概率收敛)

3.2 收敛速度分析

1. 方差分析：

   $Var({\hat{V}}_n(s))=\frac{Var(G(s))}{n}$

2. 标准差随$\sqrt{n}$减小：

   ${\sigma }_{{\hat{V}}_n(s)}=\frac{{\sigma }_{G(s)}}{\sqrt{n}}$

所以只要访问的次数趋向于无穷大，那么将会收敛到期望值，并满足一个正态分布

3.3 信心区间

对于给定的置信度$1-\alpha$，可以构建置信区间：

$P(|{\hat{V}}_n(s)-V_{\pi }(s)|\le z_{\alpha /2}\frac{{\sigma }_{G(s)}}{\sqrt{n}})=1-\alpha$

4. 收敛条件

4.1 必要条件

1. 回报的方差必须有限：
   $Var(G(s))<\infty$

2. 每个状态都能被无限次访问：
   ${\lim }_{n\to \infty }N(s)=\infty$

对于使用$\gamma$的回报，这是一个显然的结果，等比数列的系数是有限的，单个回报的上限显然也是有界的，具体的证明可以参考前面的章节

3. 马尔可夫性质成立

4.2 得到我们的充分条件

1. 策略$\pi$是固定的（不变的），这里在涉及后面的off line的模式很重要
2. 所有回合都是独立同分布的
3. 折扣因子$\gamma <1$

5. 实际应用中的考虑

5.1 有限样本情况

实际应用中，我们只能获得有限样本。这时需要考虑：

1. 置信度边界：
   ${\hat{V}}_n(s)\pm c\sqrt{\frac{\log (1/\delta )}{2n}}$

5.2 实践建议

1. 使用足够多的样本
2. 监控估计值的方差
3. 考虑使用方差减小技术

6. 理论扩展

6.1 函数逼近情况

当使用函数逼近时，收敛性证明需要额外考虑：

1. 近似器的表达能力
2. 优化算法的收敛性
3. 采样分布的影响

6.2 收敛速率

$\mathbb{E}[({\hat{V}}_n(s)-V_{\pi }(s){)}^2]\le \frac{Var(G(s))}{n}$

7. 小结

蒙特卡洛每次访问型方法的收敛性基于：

1. 大数定律保证了收敛性
2. 独立同分布采样保证了无偏性
3. 有限方差保证了收敛速度
4. 充分的探索保证了全局收敛

这些理论保证使得蒙特卡洛方法在实践中成为一个可靠的选择。但同时，我们也需要注意样本效率和收敛速度的实际问题。