【概率论】期中复习笔记（下）：大数定律与中心极限定理

第五章 大数定律与中心极限定理

1. 随机变量的收敛性

(1) 依概率收敛

定义1 设 { X n , n = 1 , 2 , ⋯   } \{X_n,n=1,2,\cdots\} { Xn​,n=1,2,⋯}是随机变量序列，$X$也是一个随机变量，若 ∀ ε > 0 , lim ⁡ n → ∞ P { ∣ X n − X ∣ ≥ ε } = 0 \forall\varepsilon>0,\lim\limits_{n\to\infty}P\{|X_n-X|\ge\varepsilon\}=0 ∀ε>0,n→∞lim​P{ ∣Xn​−X∣≥ε}=0则称随机变量序列 { X n } \{X_n\} { Xn​}依概率收敛于$X$，记作$(p)\underset{n\to \infty }{\lim }{X}_n=X$或者$X_n\stackrel{P}{\to }X$。

依概率收敛表明：随机变量$X_n$对$X$的绝对偏差不小于任意给定正数（即$\epsilon$）的概率随着$n$增大而越来越接近于$0$。

上述定义也等价于 ∀ ε > 0 , lim ⁡ n → ∞ P { ∣ X n − X ∣ < ε } = 1 \forall\varepsilon>0,\lim\limits_{n\to\infty}P\{|X_n-X|<\varepsilon\}=1 ∀ε>0,n→∞lim​P{ ∣Xn​−X∣<ε}=1。

特别地，当随机变量$X$为单点分布，即 P { X = a } = 1 P\{X=a\}=1 P{ X=a}=1，则称序列$X_n$依概率收敛于$a$，即$X_n\stackrel{P}{\to }a$。

依概率收敛于常数的随机变量序列的性质：
(1) $(p)\underset{n\to \infty }{\lim }{X}_n=a,(p)\underset{n\to \infty }{\lim }{Y}_n=b,g(x,y)$在点$(a,b)$处连续$⟹(p)\underset{n\to \infty }{\lim }g(X_n,Y_n)=g(a,b)$
(2) $(p)\underset{n\to \infty }{\lim }(X_n\pm Y_n)=a\pm b$
(3) $(p)\underset{n\to \infty }{\lim }{X}_n{Y}_n=ab$
(4) $(p)\underset{n\to \infty }{\lim }\frac{X_n}{Y_n}=\frac{a}{b}(Y_n\ne 0,b\ne 0)$

一般地，依概率收敛的随机变量序列也具有四则运算性质。

(2) 依分布收敛

定义2 设 { X n , n = 1 , 2 , ⋯   } \{X_n,n=1,2,\cdots\} { Xn​,n=1,2,⋯}为随机变量序列，其对应的分布函数序列为 { F n ( x ) , n = 1 , 2 , ⋯   } \{F_n(x),n=1,2,\cdots\} { Fn​(x),n=1,2,⋯}，$X$是另一随机变量，其分布函数为$F(x)$。若对$F(x)$的每个连续点$x$，有$\underset{n\to \infty }{\lim }{F}_n(x)=F(x)$，则称随机变量序列 { X n } \{X_n\} { Xn​}依分布收敛于$X$，记作$X_n\stackrel{d}{\to }X$，或称分布函数序列 { F n ( x ) , n = 1 , 2 , ⋯   } \{F_n(x),n=1,2,\cdots\} { Fn​(x),n=1,2,⋯}弱收敛于$F(x)$，记作$F_n(x)\stackrel{w}{\to }F(x)$。

2. 大数定律

(1) 马尔可夫不等式

定理3（马尔可夫不等式） 设$X$为随机变量，若$E(|X{|}^r)$有限，其中$r>0$为实数，则 ∀ ε > 0 , P { ∣ X ∣ ≥ ε } ≤ E ( ∣ X ∣ r ) ε r \forall\varepsilon>0,P\{|X|\ge\varepsilon\}\le\frac{E(|X|^r)}{\varepsilon^r} ∀ε>0,P{ ∣X∣≥ε}≤εrE(∣X∣r)​部分证明：
当$X$为连续型随机变量时，设$X$的概率密度为$f(x)$，则 P { ∣ X ∣ ≥ ε } = ∫ ∣ x ∣ ≥ ε f ( x ) d x P\{|X|\ge\varepsilon\}=\int\limits_{|x|\ge\varepsilon}f(x)\text{d}x P{ ∣X∣≥ε}=∣x∣≥ε∫​f(x)dx因为在积分范围内$|x|\ge \epsilon$，故$\frac{|x{|}^r}{{\epsilon }^r}\ge 1$，于是$$\underset{|x|\ge \epsilon }{\int }f(x)\text{d}x\le \underset{|x|\ge \epsilon }{\int }\frac{|x{|}^r}{{\epsilon }^r}f(x)\text{d}x$$其中${\epsilon }^r$为常数，提出来就得到$$\underset{|x|\ge \epsilon }{\int }\frac{|x{|}^r}{{\epsilon }^r}f(x)\text{d}x=\frac{1}{{\epsilon }^r}\underset{|x|\ge \epsilon }{\int }|x{|}^{r}f(x)\text{d}x$$把积分范围扩大到$(-\infty ,+\infty )$，积分值也会变大，故$$\frac{1}{{\epsilon }^r}\underset{|x|\ge \epsilon }{\int }|x{|}^{r}f(x)\text{d}x\le \frac{1}{{\epsilon }^r}{\int }_{-\infty }^{+\infty }|x{|}^{r}f(x)\text{d}x=\frac{E(|X{|}^r)}{{\epsilon }^r}$$