大数定理随笔

在数学与统计学中，大数定律又称大数法则、大数律，是描述相当多次数重复实验的结果的定律。根据这个定律知道，样本数量越多，则其平均就越趋近期望值。

大数定律主要有两种表现形式：弱大数定律和强大数定律。定律的两种形式都肯定无疑地表明，样本均值：

${\overline{X}}_n=\frac{1}{n}(X_1+X_2+...+X_n)$

收敛于期望值：

${\overline{X}}_n\to u,n\to \infty$

其中 $X_1,X_2,...$ 是独立同分布、期望值 $E(X_1)=E(X_2)=...=u$ ,且皆勒贝格可积的随机变量构成的无穷序列。$X_j$ 的勒贝格可积性意味着期望值 $E(X_j)$ 存在且有限。

方差 $Var(X_1)=Var(X_2)=...={\sigma }^2<\infty$ 有限的假设是非必要的。很大或者无穷大的方差会使其收敛得缓慢一些，但大数定律仍然成立。通常采用这个假设来使证明更加简洁。

强（大数定理）和弱（大数定理）之间的差别在所断言的收敛的方式。

弱大数定律

弱大数定律也称为辛钦定理，陈述为：样本均值依概率收敛于期望值

${\overline{X}}_n\stackrel{P}{\to }\mu \text{as}n\to \infty$
也就是说对于任意正数 $\epsilon$ 有${\lim }_{n\to \infty }P\left(|{\overline{X}}_n-\mu |>\epsilon \right)=0$

强大数定律

强大数定律指出，样本均值以概率1收敛于期望值。

${\overline{X}}_n\stackrel{\text{a.s.}}{\to }\mu \text{as}n\to \infty$,即 $P\left({\lim }_{n\to \infty }{\overline{X}}_n=\mu \right)=1$

切比雪夫定理的特殊情况

设 $a_1,a_2,\dots ,a_n,\dots$ 为相互独立的随机变量，其数学期望为： $E(a_i)=\mu (i=1,2,\dots )$，方差为：$Var(a_i)={\sigma }^2(i=1,2,\dots )$

则序列 $\overline{a}=\frac{1}{n}{\sum }_{i=1}^n{a}_i$ 依概率收敛于 $\mu$（即收敛于此数列的数学期望 $E(a_i)$。

换言之，在定理条件下，当 n 无限变大时，n 个随机变量的算术平均将变成一个常数。

伯努利大数定律

设在 n 次独立重复伯努利试验中，事件 X 发生的次数为 $n_x$ 。事件 X 在每次试验中发生的母体机率为 p。
$\frac{n_x}{n}$ 代表样本发生事件 X 的频率。

大数定律可用机率极限值定义: 则对任意正数 $\epsilon >0$，下式成立：

${\lim }_{n\to \infty }P\left\{\left|\frac{n_x}{n}-p\right|<\epsilon \right\}=1$

定理表明事件发生的频率依机率收敛于事件的母体机率。
定理以严格的数学形式表达了频率的稳定性。
就是说当 n 很大时，事件发生的频率于母体机率有较大偏差的可能性很小。

---

THE END.