大数定律

定义

Law of Large Numbers, LLN.

• 当大量重复同一个实验时，实验的平均结果会接近于期望值
• 重复次数越多越接近

例如掷色子，随着次数增加，得到的所有色子值的均值会越来越接近于：

$$\frac {1 + 2+ 3+4+5+6}{6} = 3.5$$

它有两种形式：强大数定律与弱大数定律。

它们的前提条件相同，但结论不同：

• 随机变量$X_1, X_2, \dots, X_n$独立同分布(i.i.d, independently identical distribution)
• 期望值$E(X)$存在， 且$E(X) = \mu$
• $\bar X_n = \frac 1n \sum_i^n X_i$

两种形式的大数定律都描述了$\bar X_n$的收敛性：

$$\bar X_n \to \mu , \text{when } n \to \infty$$
不同的是 $\bar X_n$的收敛方式。

弱大数定律

也称为辛钦大数定律。 $\bar X_n$依概率收敛到$\mu$:

$$Pr(|\bar X_n - \mu| \le \epsilon) = 1, \forall \epsilon > 0$$
或
$$\bar X_n \to^{P} \to 1$$
依概率收敛是弱收敛， 因为它不能排除 $|\bar X_n - \mu| > \epsilon$情形的出现，即使它的概率很小。

强大数定律

结论比弱大数定律要强， 因为它确定$\bar X_n$依分布收敛到$\mu$：

$$\lim_{n\to \infty} \bar X_n = \mu$$
或
$$\bar X_n \to^{a.s.} \to 1$$
a.s.是almost surely的缩写， 几乎可以确定的意思。当 $n\to \infty$时， 可以排除 $|\bar X_n - \mu| > \epsilon$情形的出现。

为何会出现强弱大数定律

弱大数定律与强大数定律的前提条件完全相同，只是结论不同。为什么会出现这种情况呢？ 因为弱大数定律先被证明， 强大数定律后被证明。（需要验证）
而且在有些情况下， 强大数定律不成立，但弱大数定律成立。

Reference

• 参考了知乎问题: https://www.zhihu.com/question/21110761
• Wikipedia: https://en.wikipedia.org/wiki/Law_of_large_numbers