几种中心极限定理

1. 独立同分布的中心极限定理

• 定理

  设随机变量$X_1,X_2,X_3,\cdots ,X_n,\cdots$ ，相互独立，服从同一分布，且具有数学期望和方差$E(X_k)=\mu$ ，$D(X_k)={\sigma }^2>0$ $(k=1,2,3,\cdots )$，则随机变量之和$\sum _{k=1}^n{X}_k$ 的标准化变量，$$Y_n=\frac{\sum _{k=1}^n{X}_k-E(\sum _{k=1}^n{X}_k)}{\sqrt{D(\sum _{k=1}^n{X}_k)}}=\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$$ 的分布函数$F_n(x)$ 对于任意$x$满足$$\begin{array}{r}\underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P\{\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\Phi (x)\end{array}$$

• 理解

  从定理可知，期望为$\mu$，方差为${\sigma }^2$的独立同分布随机变量序列$X_1,X_2,X_3,\cdots ,X_n,\cdots$之和$\sum _{k=1}^n{X}_k$的标准化变量，当$n$足够大时，近似服从标准正态分布，即$$\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\sim N(0,1)$$ 由于 $\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }=\frac{\frac{1}{n}\sum _{k=1}^n{X}_k-\mu }{\sigma /\sqrt{n}}=\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}$ 因此有 $$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)或\overline{X}\sim N(\mu ,{\sigma }^2/n)，$$ 这是独立同分布的中心极限定理结果的另一个形式。

2. 棣莫弗-拉普拉斯(De Moivre-Laplace)定理

• 定理

  设随机变量${\eta }_n(n=1,2,\cdots )$服从参数为$n,p(0<p<1)$ 的二项分布，则对于任意$x$,有$$\begin{array}{r}\underset{n\to \infty }{\lim }P\{\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\Phi (x)\end{array}.$$

  证明

  二项分布可以看做是$n$个相互独立且服从同一$(0-1)$分布的随机变量$X_1,X_2,X_3,\cdots ,X_n$之和，此时有$${\eta }_n=\sum _{i=1}^n{X}_k,$$ 其中$X_k(k=1,2,\cdots ,n)$的分布律为 P { X k = i } = p i ( 1 − p ) 1 − i , i = 0 , 1 P\{X_k=i\}=p^i(1-p)^{1-i},i=0,1 P{Xk​=i}=pi(1−p)1−i,i=0,1 我们知道$E(X_k)=p,D(X_k)=p(1-p)$ ,很明显，根据独立同分布的中心极限定理可知，有$$\begin{array}{r}\underset{n\to \infty }{\lim }P\{\frac{{\eta }_n-np}{\sqrt{np(1-p)}}\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\Phi (x)\end{array}.$$

• 该定理为独立同分布的中心极限定理的特殊情况。该定理表明，正态分布是二项分布的极限分布，当$n$足够大时，可以用正态分布近似计算二项分布。

3. 李雅普诺夫(Lyapunov)定理

• 定理

  设随机变量$X_1,X_2,X_3,\cdots ,X_n,\cdots$ ，相互独立，他们具有数学期望和方差$$E(X_k)={\mu }_k，D(X_k)={\sigma }_k^2>0k=1,2,3,\cdots$$ 记$$B_n^2=\sum _{k=1}^n{\sigma }_k^2$$ 若存在正数$\delta$ ，使得当$n\to \infty$ 时， 1 B n 2 + δ ∑ k = 1 n E { ∣ X − μ k ∣ 2 + δ } → 0 ， \frac{1}{B_n^{2+\delta}}\sum\limits_{k=1}^{n}E\{|X-\mu_k|^{2+\delta}\}\to0， Bn2+δ​1​k=1∑n​E{∣X−μk​∣2+δ}→0，则随机变量之和$\sum _{k=1}^n{X}_k$的标准化变量 $$Z_n=\frac{\sum _{k=1}^n{X}_k-E(\sum _{k=1}^n{X}_k)}{\sqrt{D(\sum _{k=1}^n{X}_k)}}=\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n}$$ 的分布函数$F_n(x)$ 对于任意$x$，满足$$\begin{array}{r}\underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P\{\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n}\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-t^2/2}dt=\Phi (x)\end{array}$$

• 理解

  该定理表明，在定理条件下，随机变量$$Z_n=\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n}$$ 当$n$很大时，近似的服从标准正态分布$N(0,1)$，由此可知， 当$n$很大时，$\sum _{k=1}^n{X}_k$ 近似的服从正态分布$N(\sum _{k=1}^n{\mu }_k,B_n^2)$ ，该定理只要求随机变量$X_1,X_2,X_3,\cdots ,X_n,\cdots$ 相互独立，并没有要求服从什么分布，也就是说，无论各个随机变量服从什么分布，只要满足定理的条件，那么他们的和$\sum _{k=1}^n{X}_k$ 当$n$很大时，就近似地服从正态分布，这就是为什么正态随机变量在概率论中占有重要地位的一个基本原因。