概率论小结5

大数定理及中心极限定理

一、大数定理

弱大数定理（辛钦大数定理）
设X₁, X₂, … 是相互独立，服从同一分布的随机变量序列，且具有数学期望E(X_k)=$\mu$ (k=1,2,…)。作前n个变量的算术平均$\frac{1}{n}\sum _{k=1}^n{X}_k$，则对于任意$ϵ>0$，有
lim⁡n→∞P{∣1n∑k=1nXk−μ∣&lt;ϵ}=1\lim\limits_{n\to\infty}P\{|\frac{1}{n}\sum\limits_{k=1}^{n}X_k-\mu|&lt;\epsilon\}=1n→∞lim​P{∣n1​k=1∑n​Xk​−μ∣<ϵ}=1

依概率收敛
设Y₁, Y₂, …, Y_n, … 是一个随机变量序列，a是一个常数。若对于任意正数$ϵ$，有lim⁡n→∞P{∣Yn−a∣&lt;ϵ}=1\lim\limits_{n\to\infty}P\{|Y_n-a|&lt;\epsilon\}=1n→∞lim​P{∣Yn​−a∣<ϵ}=1，则称序列Y₁, Y₂, …, Y_n, … 依概率收敛于a，记为$Y_n\stackrel{P}{\to }a$.

依概率收敛的序列有以下的性质：
设$X_n\stackrel{P}{\to }a$，$Y_n\stackrel{P}{\to }b$，又设函数g(x,y)在点(a,b)连续，则$g(X_n,Y_n)\stackrel{P}{\to }g(a,b)$

弱大数定理又可叙述为（辛钦大数定理）
设随机变量X₁, X₂, … 相互独立，服从同一分布且具有数学期望E(X_k)=$\mu$ (k=1,2,…)。则序列$\overline{X}=\frac{1}{n}\sum _{k=1}^n{X}_k$依概率收敛于$\mu$，即$\overline{X}\stackrel{P}{\to }\mu$.

辛钦大数定理推论：伯努利大数定理
设f_A是n次独立重复实验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对于任意正数$ϵ>0$，有
lim⁡n→∞P{∣fAn−p∣&lt;ϵ}=1\lim\limits_{n\to\infty}P\{|\frac{f_A}{n}-p|&lt;\epsilon\}=1n→∞lim​P{∣nfA​​−p∣<ϵ}=1
或
lim⁡n→∞P{∣fAn−p∣⩾ϵ}=0\lim\limits_{n\to\infty}P\{|\frac{f_A}{n}-p|\geqslant\epsilon\}=0n→∞lim​P{∣nfA​​−p∣⩾ϵ}=0
当实验次数很大时，可以用事件的频率代替事件的概率。

二、中心极限定理

定理一（独立同分布的中心极限定理）
设随机变量X₁, X₂, …, X_n, … 相互独立，服从同一分布，且具有数学期望和方差：E(X_k)=$\mu$, D(X_k)=${\sigma }^2$>0 (k=1,2,…)，则随机变量之和$\sum _{k=1}^n{X}_k$的标准化变量
$Y_n=\frac{\sum _{k=1}^n{X}_k-E(\sum _{k=1}^n{X}_k)}{\sqrt{D(\sum _{k=1}^n{X}_k)}}=\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$
的分布函数F_n(x)对于任意x满足
lim⁡n→∞Fn(x)=lim⁡n→∞P{∑k=1nXk−nμnσ⩽x}=∫−∞x12πσ e−t2/2dt=Φ(x)\lim\limits_{n\to\infty}F_n(x)=\lim\limits_{n\to\infty}P\{ \dfrac{\sum\limits_{k=1}^{n}X_k-n\mu}{\sqrt{n}\sigma}\leqslant x\}=\int_{-\infty}^{x}\dfrac{1}{\sqrt{2\pi}\sigma}\ e^{-t^2/2}dt=\Phi(x)n→∞lim​Fn​(x)=n→∞lim​P{n​σk=1∑n​Xk​−nμ​⩽x}=∫−∞x​2π​σ1​ e−t2/2dt=Φ(x)
即$\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\underset{˜}{近似地}N(0,1)$

在一般情况下，很难求出n个随机变量之和$\sum _{k=1}^n{X}_k$的分布，独立同分布中心极限定理表明，当n充分大时，可以通过标准正态分布$\Phi (x)$给出其近似的分布。

独立同分布中心极限定理的另一种形式：
将$\frac{\sum _{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$改写为$\frac{\frac{1}{n}\sum _{k=1}^n{X}_k-\mu }{\sigma /\sqrt{n}}=\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}$，则当n充分大时，
$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\underset{˜}{近似地}N(0,1)$ 或 $\overline{X}\underset{˜}{近似地}N(\mu ,{\sigma }^2/n)$
（当n充分大时，$\overline{X}$无限接近$\mu$（${\sigma }^2/n$趋于0），与大数定理相符）

定理二（李雅普诺夫定理）
设随机变量X₁, X₂, …, X_n, … 相互独立，且具有数学期望和方差：E(X_k)=${\mu }_k$, D(X_k)=${\sigma }_k^2$>0 (k=1,2,…)，记$B_n^2=\sum _{k=1}^n{\sigma }_k^2$. 若存在正数$\delta$，使得当$n\to \infty$时，1Bn2+δ∑k=1nE{∣Xk−μk∣2+δ}→0\dfrac{1}{B_n^{2+\delta}}\sum\limits_{k=1}^{n}E\{|X_k-\mu_k|^{2+\delta}\}\to0Bn2+δ​1​k=1∑n​E{∣Xk​−μk​∣2+δ}→0，则随机变量之和$\sum _{k=1}^n{X}_k$的标准化变量
$Z_n=\frac{\sum _{k=1}^n{X}_k-E(\sum _{k=1}^n{X}_k)}{\sqrt{D(\sum _{k=1}^n{X}_k)}}=\frac{\sum _{k=1}^n{X}_k-\sum _{k=1}^n{\mu }_k}{B_n}$
的分布函数F_n(x)对于任意x，满足
lim⁡n→∞Fn(x)=lim⁡n→∞P{∑k=1nXk−∑k=1nμkBn⩽x}=∫−∞x12πσ e−t2/2dt=Φ(x)\lim\limits_{n\to\infty}F_n(x)=\lim\limits_{n\to\infty}P\{ \dfrac{\sum\limits_{k=1}^{n}X_k-\sum\limits_{k=1}^{n}\mu_k}{B_n}\leqslant x\}=\int_{-\infty}^{x}\dfrac{1}{\sqrt{2\pi}\sigma}\ e^{-t^2/2}dt=\Phi(x)n→∞lim​Fn​(x)=n→∞lim​P{Bn​k=1∑n​Xk​−k=1∑n​μk​​⩽x}=∫−∞x​2π​σ1​ e−t2/2dt=Φ(x).
由此，当n很大时，$\sum _{k=1}^n{X}_k=B_n{Z}_n+\sum _{k=1}^n{\mu }_k$近似地服从正态分布$N(\sum _{k=1}^n{\mu }_k,B_n^2)$. 这就是说，无论各个随机变量X_k (k=1,2,…) 服从什么分布，只要满足定理的条件，那么它们的和$\sum _{k=1}^n{X}_k$当n很大时，就近似地服从正态分布。

定理三（棣莫弗—拉普拉斯定理）
设随机变量${\eta }_n$ (n=1,2,…)服从参数为n，p(0<p<1)的二项分布，则对于任意x，有
lim⁡n→∞P{ηn−npnp(1−p)⩽x}=∫−∞x12πσ e−t2/2dt=Φ(x)\lim\limits_{n\to\infty}P\{ \dfrac{\eta_n-np}{\sqrt{np(1-p)}}\leqslant x\}=\int_{-\infty}^{x}\dfrac{1}{\sqrt{2\pi}\sigma}\ e^{-t^2/2}dt=\Phi(x)n→∞lim​P{np(1−p)​ηn​−np​⩽x}=∫−∞x​2π​σ1​ e−t2/2dt=Φ(x).
其中，${\eta }_n$可以分解为n个相互独立、服从同一(0-1)分布的诸随机变量X₁, X₂, …, X_n 之和，即有${\eta }_n=\sum _{k=1}^n{X}_k$.

这个定理表明正态分布是二项分布的极限分布