概率论知识回顾（二十一）：大数定律

概率论知识回顾（二十一）

重点：大数定律

知识回顾用于巩固知识和查漏补缺。知识回顾步骤：

1. 查看知识回顾中的问题，尝试自己解答
2. 自己解答不出来的可以查看下面的知识解答巩固知识。
3. 对知识解答有疑问的，说明有关这一点的知识或者公式没有理解透彻或者没有记住，要重新翻看书籍。

知识回顾

1. 什么是切比雪夫（Chebyshev）不等式？
2. 什么是大数定律？
3. 什么是切比雪夫大数定律？
4. 什么是贝努利（Bernoulli）大数定律？
5. 什么是辛钦（Kinchin）大数定律？

---

知识解答

1. 什么是切比雪夫（Chebyshev）不等式？
   • 假设随机变量 $X$ 具有期望 $E(X)=\mu$, 方差 $D(X)={\sigma }^2$, 那么对于任意的正数 $ϵ$ , 不等式 P{∣X−μ∣≥ϵ}≤σ2ϵ2或P{∣X−μ∣&lt;ϵ}≥1−σ2ϵ2P\{|X-\mu| \ge \epsilon\} \le \frac{\sigma^2}{\epsilon^2} 或 P\{|X-\mu|&lt;\epsilon\} \ge 1- \frac{\sigma^2}{\epsilon^2}P{∣X−μ∣≥ϵ}≤ϵ2σ2​或P{∣X−μ∣<ϵ}≥1−ϵ2σ2​
   • 其实切比雪夫不等式想表达的是随机变量和期望的偏差符合统计规律，即偏差越大的范围的值占整体样本的概率就越小。其实就是整体的样本与期望的偏差不会太大。
2. 什么是大数定律？
   • 设 {Xn}\{X_n\}{Xn​} 是随机变量序列，记 $\bar{X}=\frac{1}{n}\sum _{k=1}^n{X}_k$ 且数学期望 $E(X_n)$ 存在，如果 $\forall ϵ>0$, 都有 lim⁡n→+∞P{∣Xˉ−EXˉ∣≥ϵ}=0\lim \limits_{n \rightarrow + \infty} P\{|\bar{X} - E\bar{X}| \ge \epsilon \} = 0n→+∞lim​P{∣Xˉ−EXˉ∣≥ϵ}=0 就称随机变量序列服从大数定律。记作 $$\bar{X}-E\bar{X}\stackrel{P}{⟶}0或\bar{X}\stackrel{P}{⟶}E\bar{X}$$
   • 也就是说，如果序列的平均值收敛于它的期望，就说明序列 {Xn}\{X_n\}{Xn​} 服从大数定律。
3. 什么是切比雪夫大数定律？
   • 若 {Xn}\{X_n\}{Xn​} 为 相互独立 的随机变量序列，且对所有的自然数n，$E{X}_n={\mu }_n$ 存在，并且 $D{X}_n={\sigma }^2\le c<\infty$。(方差一致有界)。那么 $X_n$ 服从大数定律。
4. 什么是贝努利（Bernoulli）大数定律？
   • 设 $n_A$ 是n次独立重复试验中事件A发生的次数，p 是 事件 A 在每次实验中发生的概率，对于任意的正数 $ϵ$ 有 lim⁡n→+∞P{∣nAn−p∣&lt;ϵ}=1\lim \limits_{n \rightarrow + \infty} P\{|\frac{n_A}{n} - p| &lt; \epsilon \} = 1n→+∞lim​P{∣nnA​​−p∣<ϵ}=1, 也就是说 $\frac{n_A}{n}\stackrel{P}{⟶}p$。其实就是在大量试验下，频率接近于概率的表示。
5. 什么是辛钦（Kinchin）大数定律？
   • 设随机变量 $X_1,X_2,...,X_n$ 相互独立，服从同一分布, 且具有其数学期望 $E(X_k)=\mu$, 则序列 $\bar{X}\stackrel{P}{⟶}\mu$。
   • 很显然，贝努利大数定律是辛钦大数定律的一个特例，因为我们知道n重贝努利试验可以看成 n 次 $(0-1)$ 分布，因此 $X_k=p$, 因此就有 $\bar{X}=\frac{1}{n}{\sum }_{k=1}^n{X}_k=\frac{n_A}{n}\stackrel{P}{⟶}p$