大数定律和中心极限定理

See this article on my own blog https://dyingdown.github.io/2020/01/15/Law-of-Large-Numbers/
第五章 大数定律和中心极限定理

一、*大数定律

（1）切比雪夫不等式

​ $X$有数学期望$E(X)=\mu ,D(X={\sigma }^2)$, 则对任意正整数$\epsilon$

​ P { ∣ x − μ ∣ ≥ ε } ≤ σ 2 ε 2 P\{\left| x - \mu \right| \geq \varepsilon \} \leq \frac{\sigma ^2}{\varepsilon ^ 2} P{∣x−μ∣≥ε}≤ε2σ2​

​ P { ∣ x − μ ∣ < ε } ≥ 1 − σ 2 ε 2 P\{\left| x - \mu \right| < \varepsilon \} \geq 1-\frac{\sigma ^2}{\varepsilon ^ 2} P{∣x−μ∣<ε}≥1−ε2σ2​

​ 此不等式说明$D(X)$越小， P { ∣ x − μ ∣ ≥ ε } P\{\left| x - \mu \right| \geq \varepsilon \} P{∣x−μ∣≥ε}越小；反之， P { ∣ x − μ ∣ < ε } P\{\left| x - \mu \right| < \varepsilon \} P{∣x−μ∣<ε}越大。也就是$D(X)$很小时，随机变量取值基本集中在$E(X)$附近。

（2）定义

​ 设 { X n } \{X_n\} {Xn​}为一随机变量序列，$a$是一个常数，若对任意正整数$\epsilon$有

lim ⁡ n → ∞ P { ∣ x n − a ∣ < ε } = 1 \lim _{n \rightarrow \infty} P\left\{\left|x_{n}-a\right|<\varepsilon\right\}=1 n→∞lim​P{∣xn​−a∣<ε}=1
​ 则称 { X n } \{X_n\} {Xn​}依概率收敛于$a$，即为$X_n\stackrel{p}{\to }a(n\to \infty )$

​ 有如下性质：

​ $X_n\stackrel{p}{\to }a,Y_n\stackrel{p}{\to }b$， 设$g(x,y)$ 在$(a,b)$点连续，则

$$g\left(X_n,Y_n\right)\stackrel{P}{\to }g(a,b)$$
（3）切比雪夫大数定律

​ 设$\left(X_1,X_2,\cdots ,X_n,\cdots \right)$是一列相互独立的随机变量序列，并且$E(X_i),D(X_i)$均存在，同时存在$C$，$D(X_i)\le C(i=1,2,\cdots )$，则对任意的$\epsilon >0$，有
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E\left(X_i\right)\right|<\epsilon \right\}=1$$
​ 也即

$$\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E\left(X_i\right)\stackrel{p}{\to }0(n\to \infty )$$
（4）辛钦大数定律

​ 设$\left(X_1,X_2,\cdots ,X_n,\cdots \right)$是一列相互独立且服从同一分布的随机变量序列，$E(X)=\mu (1,2,\cdots )$，则$\frac{1}{n}{\sum }_{i=1}^n{X}_i$依概率收敛与$\mu$，即

$$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{p}{\to }\mu (n\to \infty )$$
（5）伯努利大数定律

​ $n_A$是$n$次独立重复复实验中$A$发生的次数，$p$是事件$A$在每次实验中发生的概率，则对任意正整数，有$\epsilon$

$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{n_A}{n}-p\right|<\epsilon \right\}=1$$
​ 即 $\frac{n_{A}p}{n}\to p(n\to \infty )$

二、中心极限定理

（1）独立同分布中心极限定理

​ 设 { X 1 , X 2 , ⋯   , X n , ⋯   } \{X_{1}, X_{2}, \cdots, X_{n},\cdots \} {X1​,X2​,⋯,Xn​,⋯}是一列相互独立且服从同一分布的随机变量序列，有数学期望$E(X_i)=\mu ,D(X_i)={\sigma }^2>0(i=1,2,\cdots )$，则随机变量和${\sum }_{i=1}^n{X}_i$的标准变化量

$$Z_n=\frac{{\sum }_{1=1}^n{x}_i-E\left({\sum }_{i=1}^n{x}_i\right)}{\sqrt{D\left({\sum }_{i=1}^n{x}_i\right)}}=\frac{{\sum }_{i=1}^n{x}_i-n\mu }{\sqrt{n}\sigma }$$
​ 的分布函数$F_n(x)$对于任意$x$满足

$$\underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P\left\{\frac{{\sum }_{i=1}^n{x}_i-n\mu }{\sqrt{n}\sigma }\le x\right\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t}{2}}dt=\varphi (x)$$
​ 该定理说明当$n\to \infty$时，随机变量$Z_n$的分布函数收敛于标准正态分布函数。不论 { X 1 , X 2 , ⋯   , X n , ⋯   } \{X_{1}, X_{2}, \cdots, X_{n},\cdots \} {X1​,X2​,⋯,Xn​,⋯}服从什么分布，只要满足定理条件，$n$充分大时${\sum }_{i=1}^n{X}_i$，可以近似服从正态分布。

（2）蒂莫夫-拉普拉斯中心极限定理

​ 设随机变量${\eta }_n(n=1,2,\cdots )$服从参数为$n,p(0<p<1)$的二项分布，则对任意实数$x$有

$$\underset{n\to \infty }{\lim }P\left\{\frac{{\eta }_n-np}{\sqrt{np}(1-p)}\le x\right\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t}{2}}dt=\varphi (x)$$
​ 此定理表明，二项分布的极限时正态分布，当$n$充分大时，可以近似计算二项分布的概率。当$n$充分大时，二项分布的随机变量近似服从正态分布。