概率论之随机变量的数字特征

1.数学期望

1.1离散型随机变量的期望

设离散型随机变量$X$的分布律为

$X$	$x_1$	$x_2$	$...$	$x_n$	$...$
$P$	$p_1$	$p_2$	$...$	$p_n$	$...$

若计数${\sum }_{k=1}^{\infty }{x}_k{p}_k$绝对收敛，则称其收敛值为随机变量$X$的数学期望或均值，简称为期望，记为$EX={\sum }_{k=1}^{\infty }{x}_k{p}_k$。若发散，则其期望不存在。

1.2常见的离散型分布的数学期望

1.伯努利分布（两点分布）：
$$EX=0\times (1-p)+1\times p=p$$
2.二项分布：
$$EX=\sum _{k=0}^{n}k{p}_k=\sum _{k=0}^{n}k{C}_n^k{p}^k{q}^{n-k}=np\sum _{k=0}^n{C}_{n-1}^{k-1}{p}^{k-1}{q}^{(n-1)-(k-1)}=np(p+q{)}^{n-1}=np$$
3.泊松分布：
$$EX=\sum _{k=0}^{+\infty }k{p}_k=\sum _{k=0}^{n}k\frac{{\lambda }^k}{k!}{e}^{-\lambda }=\lambda e^{-\lambda }\sum _{k=1}^{n}k\frac{{\lambda }^{k-1}}{(k-1)!}=\lambda e^{-\lambda }{e}^{\lambda }=\lambda$$
4.几何分布：
$$EX=\frac{1}{p}$$

1.3一元连续型随机变量的数学期望

设连续型随机变量$X$的分布密度函数为$f(x)$,若积分${\int }_{-\infty }^{+\infty }xf(x)dx$收敛，则称其为$X$的数学期望或均值，记为$EX或E(X)$

1.4常见的连续型分布的数学期望

1.正态分布$N(\mu ,{\sigma }^2)$
$$EX={\int }_{-\infty }^{+\infty }\frac{x}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx,$$
$令\frac{x-\mu }{\sigma }=t$，则
$$EX=\mu {\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt+\sigma {\int }_{-\infty }^{+\infty }\frac{t}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt=\mu$$
2.指数分布:
$$EX=\frac{1}{\lambda }$$
3.均匀分布：
$$EX=\frac{a+b}{2}$$

1.5二元随机变量的数学期望

对于二元随机向量$(X,Y)$，其边缘分布均为一元随机变量，
若$(X,Y)$是离散型随机向量，则
$$EX=\sum _i{x}_i{p}_{i\cdot }=\sum _i\sum _j{x}_i{p}_{ij}$$
$$EY=\sum _j{y}_i{p}_{\cdot j}=\sum _j\sum _i{y}_j{p}_{ij}$$
若$(X,Y)$是连续型随机变量，则
$$EX={\int }_{-\infty }^{+\infty }x{f}_X(x)dx={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xf(x,y)dxfy$$
$$EY={\int }_{-\infty }^{+\infty }y{f}_Y(y)dy={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }yf(x,y)dxfy$$

1.6.数学期望的性质

1.设$c$是常数，则有$E(c)=c$
2.设$X$是随机变量，$c$是常数，则有$E(cX)=cEX$
3.设$X,Y$是随机变量，则有$E(X+Y)=EX+EY$
4.设$X,Y$是相互独立的随机变量，则有$E(XY)=EXEY$

2.方差

2.1定义

设$X$是随机变量，$E[X-EX{]}^2$存在，则称其为$X$的方差，记为$DX或Var(X)$，称$\sqrt{DX}$为标准差，记为$\sigma (X)$，易知
$$DX=E{X}^2-(EX{)}^2$$

2.2常见分布的方差

1.伯努利分布的方差
$$由于EX=p,E{X}^2=p,则有DX=E{X}^2-(EX)2=pq$$
2.二项分布的方差
$$DX=np(1-p)=npq$$
3.几何分布的方差
$$DX=E{X}^2-(EX{)}^2=\frac{q}{p^2}$$
4.泊松分布的方差
$$DX=E{X}^2-(EX{)}^2={\lambda }^2+\lambda -{\lambda }^2=\lambda$$
5.均匀分布的方差
$$DX=\frac{(b-a{)}^2}{12}$$
6.指数分布的方差
$$DX=\frac{1}{{\lambda }^2}$$
7.正态分布的方差
$$DX={\sigma }^2$$
8.对数正太分布的方差
设$Y=lnX服从正态分布N(\mu ,{\sigma }^2),则称X服从该参数的对数正态分布$
$$EX=e^{\mu +\frac{{\sigma }^2}{2}}$$
$$DX=e^{2\mu +{\sigma }^2}(e^{{\sigma }^2}-1)$$

2.3性质

1.设$c$是常数，则有$D(c)=0$
2.$c$是常数，则有$D(cX)=c^{2}DX$
3.设$X,Y$是相互独立的随机变量，则有$D(X+Y)=DX+DY$
4.设$X_1,X_2,...,X_n$是相互独立的随机变量，则
$$D(\sum _{i=1}^n{C}_i{X}_i)=\sum _{i=1}^n{C}_i^{2}D(X_i)$$
5.若$C̸=EX,$则$DX<E(X-C{)}^2$

3.协方差及相关系数、矩

对于二元随机向量，我们除了讨论$X与Y$的数学期望和方差外，还需描述$X与Y$之间的相互关系的数字特征。

3.1协方差

设有二维随机变量$(X,Y)$，如果$E[X-EX][Y-EY]$存在，则称其为随机变量$X与Y$的协方差，记为$cov(X,Y)$，称${\rho }_{XY}=\frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$为随机变量$X与Y$的相关系数。
随机变量$X与Y$的相关系数为零，则称$X与Y$不相关，或无关。显然，$X与Y$不相关亦有$cov(X,Y)=0$；$X与Y$之间独立，一定有$X与Y$不相关，反之则不然。

3.2性质

3.2.1协方差的性质

1.$cov(X,Y)=cov(Y,X)$
2.$cov(X,Y)=EXY-EXEY$
3.$D(X\pm Y)=DX+DY\pm 2cov(X,Y)DX$
4.$cov(aX,bY)=(ab)cov(X,Y)$
5.$cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)$
6.若$X与Y$相互独立，则$cov(X,Y)=0$，即$X与Y$不相关；但若$X与Y$不相关，$X与Y$却不一定相互独立。
7.$[cov(X,Y){]}^2\le DXDY$

3.2.2相关系数的性质

1.$|{\rho }_{XY}|\le 1$
2.若$X与Y$相互独立，则${\rho }_{XY}=0$
3.当$X与Y$有线性关系时，即当$Y=aX+b$时，$|{\rho }_{XY}|\le 1$
4.$|{\rho }_{XY}|\le 1$的充要条件是，存在常数$a,b使PY=aX+b=1$

3.3.3线性无关的等价条件

1.$cov(X,Y)=0$
2.$X和Y$不相关
3.$EXY=EXEY$
4.$D(X\pm Y)=DX+DY$

4.矩

设$X和Y$是随机变量，若$E(X^k),k=1,2,....$存在（即收敛），称它为$X的k$阶原点矩，简称$k$阶矩，记为${\alpha }_k=E{X}^k$
若$E[X-EX{]}^k,k=1,2,...$存在，称它为$X的k阶$中心矩，$记为{\beta }_k=E(X-EX{)}^k$
若$E{X}^k{Y}^l$存在，称它为$X和Y的k+l$阶混合矩。
若$E[X-EX{]}^k[Y-EY{]}^l$存在，称它为$X和Y的k+l$阶混合中心矩。

5.条件期望和条件预测