04概率论与数理统计笔记 随机变量的数字特征——基于《概率论与数理统计》许忠好

1 数学期望

一维变量

离散随机变量X具有分布列
$$P(X=x_k)=p_k,k=1,2,3\dots \dots$$
若级数
$$\sum _{k=1}^{\infty }{x}_k{p}_k绝对收敛，即\sum _{k=1}^{\infty }|x_k|p_k<\infty$$
该级数就是X的数学期望
记为EX

连续型随机变量X有概率密度函数p(x)
$${\int }_{-\infty }^{\infty }xp(x)dx收敛$$
于是上面的积分就是X的数学期望

注意：初等概率论数学期望EX都是有限制，不包括∞的情况，而有些分布数学期望不存在，比如柯西分布

定理
Y = f(X) 为随机变量X的函数，若数学期望E(f(X))
$$EY=E(f(X))=\{\begin{array}{rlr}\sum _{k}f(x_k)p_k& & 离散\\ {\int }_{-\infty }^{\infty }f(x)p(x)dx& & 连续\end{array}$$

性质
1)E( c ) = c
2)E(aX) = aEX
3)E(f(X)+g(X)) = E(f(X)) + E(g(X))

二维

定义
（X，Y）是二维随机变量，(EX,EY)是该变量的数学期望向量

定理
Z=g(X,Y)是二维随机变量的函数
$$EZ=Eg(X,Y)\{\begin{array}{rlr}\sum _{i,j}g(x_i,y_i)p_{ij}& & 离散\\ \iint g(x,y)p(x,y)dxdy& & 连续\end{array}$$

定理
1）$E(f(X)+g(Y))=Ef(X)+Eg(Y)$ 其中f和g为一元实值函数
2）X,Y相互独立，则$E(f(X)g(Y))=Ef(X)Eg(Y)$

于是我们有
$E[(X-EX)(Y-EY)]=E(XY)-EXEY$
XY相互独立$E(f(X)g(Y))=0$

2.方差

若数学期望$E(X-EX{)}^2$存在 称其为随机变量X的方差，记为VarX
称${\sigma }_X=\sigma (X)=\sqrt{VarX}$是X的标准差

性质
1）Var( c ) = 0
2) Var(aX+b) = $a^2$Var(X)
3) VarX = $E{X}^2-(EX{)}^2$
4) VarX $⩾$ 0
5) Var(X±Y) = VarX + VarY ± $2E[(X-EX)(Y-EY)]$
6) XY相互独立， Var(X±Y)=VarX+VarY

马尔科夫不等式
随机变量X方差存在，对任意$ϵ$>0
$$P(X\ge ϵ)\le \frac{EX}{ϵ}$$

切比雪夫不等式
P{∣X−EX∣≥ϵ}≤VarXϵ2P\{|X-EX|≥\epsilon\}≤\frac{VarX}{\epsilon^2}P{∣X−EX∣≥ϵ}≤ϵ2VarX​P{∣X−EX∣<ϵ}≥1−VarXϵ2P\{|X-EX|<\epsilon\}≥1-\frac{VarX}{\epsilon^2}P{∣X−EX∣<ϵ}≥1−ϵ2VarX​

3.协方差与相关系数

定义
设（X,Y)是二维随机变量，若$E[(X-EX)(Y-EY)]$存在 称之为X和Y的协方差，记为Cov(X,Y)

性质
1)$Cov(X,Y)=Cov(Y,X)$ $Cov(X,X)=VarX$
2)$Cov(X,a)=0Cov(aX,bY)=abCov(X,Y)$
3)$Cov(X,Y)=E(XY)-EXEY$
4）X和Y相互独立，有Cov(X,Y) = 0 (反之不一定成立
5）Cov(X+Y,Z) = Cov(X,Z） + Cov(Y,Z)
6) Var(X±Y) = VarX+VarY +=2Cov(X,Y)

定义
$$Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{VarX}\sqrt{VarY}}$$
是X和Y的相关系数，可记${\rho }_{XY}$
取值在-1到1之间
$$\begin{gathered} X^{\ast }=\frac{X-EX}{\sqrt{VarX}}{Y}^{\ast }=\frac{Y-EY}{\sqrt{VarY}} \\ E{X}^{\ast }=E{Y}^{\ast }=0 \\ Var{X}^{\ast }=Var{Y}^{\ast }=1 \end{gathered}$$

定理
|Corr(X,Y)|≤1
==1的时候当且仅当X与Y有线性关系
即存在a,b使得P（Y=aX+b） ==1

推论
Cauchy-Schwarz不等式
$|Corr(X,Y)|\le 1$
得到$$|E((X-EX)(Y-EY)){|}^2\le VarX\cdot VarY$$
一般期望存在，有
$$|E(XY){|}^2\le E{X}^{2}E{Y}^2$$

对于(X,Y)~N【注意要联合分布】
Corr(X,Y) = $\rho$ 对于二维正态分布，不相关 和 独立等价

4 矩和其他数字特征

矩
$E(X-EX{)}^k$是X的k阶中心矩，记为${\nu }_k$
$E{X}^k$是X的原点矩 记为${\mu }_k$

偏度系数
X的三阶矩${\mu }_3$存在，称${\beta }_S=\frac{{\nu }_3}{{\sigma }^3}$是X的偏度系数
$\sigma =\sqrt{{\nu }_2}$是X的标准差

峰度系数
随机变量X的四阶矩${\mu }_4$存在
$${\beta }_k=\frac{{\nu }_4}{{\nu }_2^2}-3$$是X的峰度系数

变异系数
随机变量二阶矩${\mu }_2$存在且数学期望${\mu }_1=EX\ne 0$，称
$C_v=\frac{\sqrt{{\nu }_2}}{{\mu }_1}=\frac{1}{\sqrt{\alpha }}$

分位数
F是X的分布函数，α∈（0，1）
xα=inf{x:F(x)≥α}x_{\alpha}=inf\{x:F(x)≥\alpha \}xα​=inf{x:F(x)≥α} (下分位数点）

中位数
F是X的分布函数，$x_{1/2}$是X或F的中位数
P＜中位数的部分 = P > 中位数的部分

5 极限定理

中心极限定理

随机变量X服从二项分布 b(n,p)
当n充分大
可以用 N(np,np(1-p)) 来近似求解

若n趋于无穷，$S_n={\sum }_{k=1}^n{X}_k$渐进服从正态分布，即
$$\frac{S_n-E{S}_n}{\sqrt{Var{S}_n}}$$的分布函数$F_n(x)收敛于\Phi (x)$
我们称{Xn,n≥1}\{X_n,n≥1\}{Xn​,n≥1}服从中心极限定理

林德贝格——勒维中心定理
独立同分布的随机变量序列，数学期望为$\mu$方差是${\sigma }^2$记
则
lim⁡n→∞P{Sn−nμσn≤y}=Φ(x)\lim_{n\rightarrow∞}P\{\frac{S_n-n\mu}{\sigma\sqrt{n}}≤y\} = \Phi(x)n→∞lim​P{σn​Sn​−nμ​≤y}=Φ(x)

德莫弗——拉普拉斯中心定理
符合二项分布Y_n~b(n,p)
lim⁡n→∞P{Yn−npnp(1−p)≤y}=Φ(x)\lim_{n\rightarrow∞}P\{\frac{Y_n-np}{\sqrt{np(1-p)}}≤y\} = \Phi(x)n→∞lim​P{np(1−p)​Yn​−np​≤y}=Φ(x)

大数定理

X和X_1,X_2……都在同一个概率空间中
对任意的$ϵ>0$
有${\lim }_{n\to \infty }P(|X_n-X|\ge ϵ)=0$
称随机变量序列{Xn,n≥1}\{X_n,n≥1\}{Xn​,n≥1}依概率收敛到X

记为$$X_n{\to }^{P}X$$
定义
若$$\frac{S_n-E{S}_n}{n}{\to }^{P}0$$

Bernoulli大数定理
X1，X2……独立同分布，共同分布满足b(1,p)
则$\frac{S_n}{n}{\to }^{P}p$

切比雪夫大数定理
随机变量序列，两两互不相关（Cov(X_i,X_j) == 0) 且他们的方差一致有界，其满足大数定理

马尔可夫大数定理
$$\frac{1}{n^2}Var(\sum _{k=1}^n{X}_k)\to 0$$
其满足大数定理

Khinchin大数定理
X1，X2……独立同分布，EX1存在
则随机变量序列{Xn,n⩾1}\{X_n,n\geqslant 1\}{Xn​,n⩾1}服从大数定理