数学基础 -- 概率论与数理统计之大数定理及切比雪夫不等式整理

大数定理、切比雪夫不等式及其推导

大数定律

弱大数定律（Weak Law of Large Numbers, WLLN）

弱大数定律指出，当试验次数 $n$ 趋向无穷大时，样本平均值 $\overline{X_n}$ 与期望值 $\mu$ 之间的差异以概率收敛于 0。数学上表示为：

$$\forall ϵ>0,\underset{n\to \infty }{\lim }P\left(\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu \right|\ge ϵ\right)=0$$

其中，$\overline{X_n}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$，$X_i$ 是独立同分布的随机变量，其期望值为 $\mu$。

补充与说明

• 收敛方式的明确说明：弱大数定律描述的是以概率收敛（convergence in probability），即对于任意正数 $ϵ$，样本平均值与期望值的偏差概率在 $n\to \infty$ 时收敛到 0。
• 适用条件的补充：为了应用弱大数定律，通常要求随机变量 {Xi}\{X_i\}{Xi​} 独立同分布，且有有限期望 $\mathbb{E}[X_i]=\mu$。如果需要用切比雪夫不等式证明，则进一步要求方差有限（$\mathrm{Var}(X_i)<\infty$）。

强大数定律（Strong Law of Large Numbers, SLLN）

强大数定律更强，它指出样本平均值 $\overline{X_n}$ 几乎必然收敛于期望值 $\mu$。数学上表示为：

$$P\left(\underset{n\to \infty }{\lim }\overline{X_n}=\mu \right)=1$$

这意味着随着试验次数 $n$ 的增加，样本平均值 $\overline{X_n}$ 会以概率 1 收敛于期望值 $\mu$。

补充与说明

• 收敛方式的明确说明：强大数定律描述的是几乎处处收敛（almost sure convergence），即样本平均值收敛到期望值的事件发生概率为 1。
• 适用条件的补充：强大数定律的经典形式（如科尔莫哥洛夫强大数定律）通常要求随机变量 {Xi}\{X_i\}{Xi​} 独立同分布，且 $\mathbb{E}[|X_1|]<\infty$，才能保证几乎必然收敛。
• 弱大数与强大数的区别：两者的本质区别在于收敛方式的强度。弱大数定律保证样本平均值以概率的意义逼近期望值，而强大数定律则更严格，要求在几乎所有样本路径上逼近期望值。

切比雪夫不等式

切比雪夫不等式（Chebyshev’s Inequality）是概率论中的重要工具，用于描述随机变量偏离其期望值的概率界限。它不依赖于随机变量的具体分布，因此具有很强的通用性。

切比雪夫不等式的定义

切比雪夫不等式适用于任何具有有限期望值和方差的随机变量。具体来说，设 $X$ 是一个随机变量，具有期望值 $\mathbb{E}[X]=\mu$ 和方差 $\mathrm{Var}(X)={\sigma }^2$。那么，对于任意正数 $ϵ>0$，切比雪夫不等式表示为：

$$P\left(|X-\mu |\ge ϵ\right)\le \frac{{\sigma }^2}{{ϵ}^2}$$

切比雪夫不等式的推导

我们可以从 Markov 不等式出发推导切比雪夫不等式。Markov 不等式是：

$$P(|X|\ge a)\le \frac{\mathbb{E}[|X|]}{a}$$

对于非负随机变量 $Y=(X-\mu {)}^2$，我们有：

$$P\left((X-\mu {)}^2\ge {ϵ}^2\right)\le \frac{\mathbb{E}[(X-\mu {)}^2]}{{ϵ}^2}$$

由于 $\mathbb{E}[(X-\mu {)}^2]={\sigma }^2$，得到：

$$P\left((X-\mu {)}^2\ge {ϵ}^2\right)\le \frac{{\sigma }^2}{{ϵ}^2}$$

注意到 $P\left((X-\mu {)}^2\ge {ϵ}^2\right)=P\left(|X-\mu |\ge ϵ\right)$，所以：

$$P\left(|X-\mu |\ge ϵ\right)\le \frac{{\sigma }^2}{{ϵ}^2}$$

补充与说明

• 切比雪夫不等式的背景意义：切比雪夫不等式的最大优势在于它适用于任意分布（只要随机变量有有限方差）。但它给出的界通常较为宽松，对于特定分布（如正态分布）可以找到更精确的估计方法。
• 与 Markov 不等式的关系：切比雪夫不等式是 Markov 不等式的一个特例，通过将偏差平方视为非负随机变量来应用 Markov 不等式得出。

应用案例

示例 1：抛硬币与弱大数定律

问题背景：假设我们有一枚均匀硬币，每次抛掷出现正面的概率 $p=0.5$。记 $X_i$ 为第 $i$ 次抛掷时是否出现正面（正面记为 1，反面记为 0），则 $\mathbb{E}[X_i]=0.5$。

应用：根据弱大数定律，当抛掷次数 $n$ 越来越大时，

$$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }\mathrm{0.5.}$$

即实验平均值（正面频率）以概率收敛到 0.5。

示例 2：测量物理量与强大数定律

问题背景：在物理实验中，我们对某个固定物理量（如温度）进行多次独立测量。设每次测量的误差随机分布，且期望值为 0。

应用：根据强大数定律，当测量次数 $n$ 增加时，

$$\overline{X_n}=\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{\text{a.s.}}{\to }\mu ,$$

即样本平均值几乎必然收敛到真值。

示例 3：切比雪夫不等式在抽样估计中的应用

问题背景：已知随机变量 $X$ 的方差为 ${\sigma }^2$，我们希望估计样本均值的精度。

应用：根据切比雪夫不等式，对于 $n$ 个独立同分布的样本，样本均值 $\overline{X_n}$ 偏离期望值 $\mu$ 的概率界为：

$$P\left(|\overline{X_n}-\mu |\ge ϵ\right)\le \frac{{\sigma }^2}{n{ϵ}^2}.$$

当 $n$ 增大时，这个概率界逐渐缩小。

示例 4：投骰子与切比雪夫不等式

问题背景：投掷公平骰子，取值为 {1,2,3,4,5,6}\{1,2,3,4,5,6\}{1,2,3,4,5,6}。单次投掷的期望 $\mu =3.5$，方差 ${\sigma }^2=\frac{35}{12}$。

应用：假设投掷 $n$ 次，记总点数为 $S_n$，则

$$P\left(|S_n-3.5n|\ge ϵ\right)\le \frac{35n}{12{ϵ}^2}.$$