概率论与数理统计(五)

离散型的数学期望

$P(X=x_k)=P_k$，若 $\sum _{k=1}^{\infty }{x}_k{P}_k$ 绝对收敛，那么 $E(X)=\sum _{k=1}^{\infty }{x}_k{P}_k$

连续型的数学期望

随机变量 $X$，其概率密度函数为 $f(x)$，若 ${\int }_{-\infty }^{+\infty }xf(x)dx$ 绝对收敛，则：

$$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$$

随机变量函数的期望

设随机变量 $X$，若 $Y=g(X)$

那么对于离散型，有：

$$E(Y)=\sum g(x_i)P_i$$

对于连续型，有：

$${\int }_{-\infty }^{+\infty }g(x)f(x)dx$$

对于二维随机变量函数 $Z=g(X,Y)$ 的期望如下

对于离散型：

$$E(Z)=\sum _i\sum _{j}g(x_i,y_j)P_{ij}$$

对于连续型：

$$E(Z)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$$

数学期望的性质

1、对于常数 $c$ 有：$E(c)=c$

2、$E(X+c)=E(X)+c$

证明：

$$\begin{array}{rl}E(X+c)& ={\int }_{-\infty }^{+\infty }(x+c)f(x)dx\\ & ={\int }_{-\infty }^{+\infty }xf(x)dx+c{\int }_{-\infty }^{+\infty }f(x)dx\\ & =E(X)+c\cdot 1\end{array}$$

3、$E(cX)=cE(X)$

证明：

$$\begin{array}{rl}E(cX)& ={\int }_{-\infty }^{+\infty }(cx)f(x)dx\\ & =c{\int }_{-\infty }^{+\infty }xf(x)dx\\ & =cE(X)\end{array}$$

4、$E(X\pm Y)=E(X)\pm E(Y)$

证明：

$$\begin{array}{rl}E(X\pm Y)& ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x\pm y)f(x,y)dxdy\\ & ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xf(x,y)dxdy\pm {\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }yf(x,y)dxdy\\ & ={\int }_{-\infty }^{+\infty }xdx\left[{\int }_{-\infty }^{+\infty }f(x,y)dy\right]\pm {\int }_{-\infty }^{+\infty }ydy\left[{\int }_{-\infty }^{+\infty }f(x,y)dx\right]\\ & ={\int }_{-\infty }^{+\infty }x{f}_X(x)dx+{\int }_{-\infty }^{+\infty }y{f}_Y(y)dy\\ & =E(X)\pm E(Y)\end{array}$$

5、若 $X,Y$ 独立，$E(XY)=E(X)E(Y)$

证明：

$$\begin{array}{rl}E(XY)& ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xyf(x,y)dxdy\\ & ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xy{f}_X(x)f_Y(y)dxdy\\ & =\left({\int }_{-\infty }^{+\infty }x{f}_X(x)dx\right)\left({\int }_{-\infty }^{+\infty }y{f}_Y(y)dy\right)\\ & =E(X)E(Y)\end{array}$$

条件期望

定义：一个变量取了某个值的前提下，另一个变量的期望，称为条件期望

1、离散型：

$$E(X|Y=y_j)=\sum x_{i}P(X=x_i|Y=y_j)$$

2、连续型：

$$E(X|Y=y)={\int }_{-\infty }^{+\infty }xf(x|y)dx$$

方差的定义

定义：描述随机变量相对于期望的偏离程度

$$D(X)=E([X-E(X){]}^2)$$

为了将量纲统一，定义标准差 $\sqrt{D(X)}$

离散型：$D(X)=\sum _k(x_k-E(X){)}^2{P}_k$

连续型：$D(X)={\int }_{-\infty }^{+\infty }(X-E(X){)}^{2}f(x)dx$

定理：$D(X)=E(X^2)-(E(X){)}^2$

证明：

$$\begin{array}{rl}D(X)& =E([X-E(X){]}^2)\\ & =E(X^2-2XE(X)+E(X{)}^2)\\ & =E(X^2)-E(2XE(X))+E(E(X{)}^2)\\ & =E(X^2)-2E(X{)}^2+E(X{)}^2\\ & =E(X^2)-E(X{)}^2\end{array}$$

方差的性质

1、$D(c)=0$

证明：

$$D(c)=E(c^2)-(E(c){)}^2=c^2-c^2=0$$

2、$D(X+c)=D(X)$

证明：

$$\begin{array}{rl}D(X+c)& =E([X+c-E(X+c){]}^2)\\ & =E([X+c-E(X)-c{]}^2)\\ & =E([X-E(X){]}^2)\\ & =D(X)\end{array}$$

3、$D(cX)=c^{2}D(X)$

证明：

$$\begin{array}{rl}D(cX)& =E([cX-E(cX){]}^2)\\ & =E([cX-cE(X){]}^2)\\ & =c^{2}E([X-E(X){]}^2)\\ & =c^{2}D(X)\end{array}$$

4、若 $X,Y$ 相互独立，那么 $D(X\pm Y)=D(X)+D(Y)$

证明：

$$\begin{array}{rl}D(X\pm Y)& =E([X\pm Y-E(X\pm Y){]}^2)\\ & =E([X\pm Y-E(X)\mp E(Y){]}^2)\\ & =E([(X-E(X)\pm (Y-E(Y))){]}^2)\\ & =E([X-E(X){]}^2+2[X-E(X)][Y-E(Y)]+[Y-E(Y){]}^2)\\ & =E([X-E(X){]}^2)+E([Y-E(Y){]}^2)\pm 2E([X-E(X)][Y-E(Y)])\end{array}$$

下证 $E([X-E(X)][Y-E(Y)])=0$：

$$\begin{array}{rl}E([X-E(X)][Y-E(Y)])& =E(XY-XE(Y)-YE(X)+E(X)E(Y))\\ & =E(X)E(Y)-E(Y)E(X)-E(X)E(Y)+E(X)E(Y)\\ & =0\end{array}$$

故：

$$\begin{array}{rl}D(X\pm Y)& =E([X-E(X){]}^2)+E([Y-E(Y){]}^2)\pm 2E([X-E(X)][Y-E(Y)])\\ & =E([X-E(X){]}^2)+E([Y-E(Y){]}^2)\\ & =D(X)+D(Y)\end{array}$$

5、$D(X)=0\iff P(X=E(X))=1$

6、标准化性质，对 $X$ 做如下处理：

$$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}}$$

那么有 $E(X^{\ast })=0$ 且 $D(X^{\ast })=1$

证明：

$$\begin{array}{rl}E(X^{\ast })& =E(\frac{X-E(X)}{\sqrt{D(X)}})\\ & =\frac{1}{\sqrt{D(X)}}E(X-E(X))\\ & =\frac{1}{\sqrt{D(X)}}(E(X)-E(X))\\ & =0\end{array}$$

$$\begin{array}{rl}D(X^{\ast })& =\frac{1}{D(X)}D(X-E(X))\\ & =\frac{D(X)}{D(X)}\\ & =1\end{array}$$

常见离散型的期望与方差

$0-1$分布：

$P(X=k)=p^k(1-p{)}^{1-k}$,$ \ \ k=0,1$

$E(X)=p$

$D(X) = E(X^2)-(E(X))2 =p-p^2 $

二项分布：

$P(X=k)=C_n^k{p}^k{q}^{n-k},k=0,1,\cdots ,n$

期望：

$$\begin{array}{rl}E(X)& =\sum _{k=0}^{n}kP(X=k)\\ & =\sum _{k=0}^{n}k\frac{n!}{k!(n-k)!}{p}^k{q}^{n-k}\\ & =\sum _{k=1}^n\frac{n!}{(k-1)!(n-k)!}{p}^k{q}^{n-k}\\ & =np\sum _{k=1}^n\frac{(n-1)!}{(k-1)!(n-k)!}{p}^{k-1}{q}^{n-k}\\ & =np\sum _{k^{\prime }=0}^{n-1}{C}_{n-1}^{k^{\prime }}{p}^{k^{\prime }}{q}^{n-k^{\prime }-1}\\ & =np(p+q{)}^{n-1}\\ & =1\end{array}$$

方差：

先算 $E(X^2)$：

$$\begin{array}{rl}E(X^2)& =\sum _{k=0}^n{k}^{2}P(X=k)\\ & =\sum _{k=0}^n{k}^2\frac{n!}{k!(n-k)!}{p}^k{q}^{n-k}\\ & =\sum _{k=0}^{n}k(k-1)\frac{n!}{k!(n-k)!}{p}^k{q}^{n-k}+\sum _{k=0}^{n}k\frac{n!}{k!(n-k)!}{p}^k{q}^{n-k}\\ & =\sum _{k=2}^{n}n(n-1)C_{n-2}^{k-2}{p}^k{q}^{n-k}+\sum _{k=1}^{n}n{C}_{n-1}^{k-1}{p}^k{q}^{n-k}\\ & =n(n-1)p^2\sum _{k^{\prime }=0}^{n-2}{C}_{n-2}^{k^{\prime }}{p}^{k^{\prime }}{q}^{n-2-k^{\prime }}+np\sum _{k^{\prime }=0}^{n-1}{C}_{n-1}^{k^{\prime }}{p}^{k^{\prime }}{q}^{n-1-k^{\prime }}\\ & =n(n-1)p^2(p+q{)}^{n-2}+np(p+q{)}^{n-1}\\ & =n(n-1)p^2+np\\ & =n^2{p}^2+np(1-p)\end{array}$$

于是获得 $D(X)$：

$$\begin{array}{rl}D(X)& =E(X^2)-(E(X){)}^2\\ & =n^2{p}^2+np(1-p)-n^2{p}^2\\ & =np(1-p)\end{array}$$

从 $0-1$ 分布推导二项分布：

设 $X$ 为二项分布中，实验发生的次数，总共进行了 $n$ 次；那么设 $X_i$ 表示第 $i$ 次实验是否发生，发生为 $1$，反之为 $0$；显然，$X_i$ 服从$0-1$ 分布且有：

$$X=X_1+X_2+\cdots +X_n$$

即：

$$\begin{array}{rl}E(X)& =E(X_1+\cdots +X_n)\\ & =E(X_1)+\cdots +E(X_n)\\ & =np\end{array}$$

$$\begin{array}{rl}D(X)& =D(X_1+\cdots +X_n)\\ & =D(X_1)+\cdots +D(X_n)\\ & =np(1-p)\end{array}$$

几何分布：

$P(X=k)=(1-p{)}^{k-1}p$,$k=1,2,\cdots$

引理一：$\sum _{k=1}^{\infty }k{x}^{k-1}=\frac{1}{(1-x{)}^2}$

证明：

$$\begin{array}{rl}\sum _{k=1}^{\infty }k{x}^{k-1}& ={\left(\sum _{k=1}^{\infty }{x}^k\right)}^{\prime }\\ & ={\left(\frac{x}{1-x}\right)}^{\prime }\\ & =\frac{1}{(1-x{)}^2}\end{array}$$

引理二：

证明：

$$\begin{array}{rl}\sum _{k=1}^{\infty }{k}^2{x}^{k-1}& =\sum _{k=1}^{\infty }k\cdot k{x}^{k-1}\\ & ={\left(\sum _{k=1}^{\infty }k{x}^k\right)}^{\prime }\\ & ={\left(x\sum _{k=1}^{\infty }k{x}^{k-1}\right)}^{\prime }\\ & ={\left(\frac{x}{(1-x{)}^2}\right)}^{\prime }\\ & =\frac{1+x}{(1-x{)}^3}\end{array}$$

期望：

$$\begin{array}{rl}E(X)& =\sum _{k=1}^{\infty }k(1-p{)}^{k-1}p\\ & =p\sum _{k=1}^{\infty }k(1-p{)}^{k-1}\\ & =p\cdot \frac{1}{p^2}\\ & =\frac{1}{p}\end{array}$$

方差：

$$\begin{array}{rl}D(X)& =E(X^2)-(E(X){)}^2\\ & =\left[\sum _{k=1}^{\infty }{k}^2(1-p{)}^{k-1}\right]p-\frac{1}{p^2}\\ & =\frac{2-p}{p^2}-\frac{1}{p^2}\\ & =\frac{1-p}{p^2}\end{array}$$

泊松分布：

$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$,$k=0,1,2,\cdots$

期望：

$$\begin{array}{rl}E(X)& =\sum _{k=0}^{\infty }k\frac{{\lambda }^k}{k!}{e}^{-\lambda }\\ & =\sum _{k=1}^{\infty }\frac{{\lambda }^k}{(k-1)!}{e}^{-\lambda }\\ & =\lambda \sum _{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}{e}^{-\lambda }\\ & =\lambda \sum _{m=0}^{\infty }\frac{{\lambda }^m}{m!}{e}^{-\lambda }\\ & =\lambda \cdot 1\end{array}$$

方差：

$$\begin{array}{rl}D(X)& =E(X^2)-(E(X){)}^2\\ & =\sum _{k=0}^{\infty }{k}^2\frac{{\lambda }^k}{k!}{e}^{-\lambda }-{\lambda }^2\\ & =\sum _{k=1}^{\infty }k\frac{{\lambda }^k}{(k-1)!}{e}^{-\lambda }-{\lambda }^2\\ & =\sum _{k=1}^{\infty }\frac{(k-1){\lambda }^k}{(k-1)!}{e}^{-\lambda }+\lambda \sum _{k=1}^{\infty }\frac{{\lambda }^{k-1}}{(k-1)!}{e}^{-\lambda }-{\lambda }^2\\ & ={\lambda }^2\sum _{k=2}^{\infty }\frac{{\lambda }^{k-2}}{(k-2)!}{e}^{-\lambda }+\lambda -{\lambda }^2\\ & ={\lambda }^2+\lambda -{\lambda }^2\\ & =\lambda \end{array}$$

常见连续型的期望与方差

1、均匀分布：

$
f(x)=
\begin{cases}
\frac{1}{b-a} \ \ \ \ a \leqslant x \leqslant b \
0 \ \ \ \ \ \ \ \ \text{else}
\end{cases}
$

$E(X)={\int }_a^{b}x\cdot \frac{1}{b-a}dx=\frac{a+b}{2}$

$D(X)=E(X^2)-E(X{)}^2={\int }_a^b{x}^2\cdot \frac{1}{b-a}dx-\frac{(a+b{)}^2}{4}=\frac{(b-a{)}^2}{12}$

2、指数分布：

$
f(x)=
\begin{cases}
\lambda e^{-\lambda x} \ \ \ \ \ x > 0 \
0 \ \ \ \ \ \ \ \ \ \ \ \ \ x \leqslant 0
\end{cases}
$

期望：

$$\begin{array}{rl}E(X)& ={\int }_0^{+\infty }x\cdot \lambda e^{-\lambda x}dx\\ & ={\int }_0^{+\infty }-x\cdot e^{-\lambda x}d(-\lambda x)\\ & ={\int }_0^{+\infty }-xd(e^{-\lambda x})\\ & =-x{e}^{-\lambda x}{|}_0^{+\infty }+{\int }_0^{+\infty }{e}^{-\lambda x}dx\\ & =\frac{1}{\lambda }\end{array}$$

方差：

$$\begin{array}{rl}D(X)& =E(X^2)-E(X{)}^2\\ & ={\int }_0^{+\infty }{x}^2\lambda e^{-\lambda x}dx-\frac{1}{{\lambda }^2}\\ & =-x^2{e}^{-\lambda x}{|}_0^{+\infty }+2{\int }_0^{+\infty }{e}^{-\lambda x}xdx-\frac{1}{{\lambda }^2}\\ & =\frac{2}{{\lambda }^2}-\frac{1}{{\lambda }^2}\\ & =\frac{1}{{\lambda }^2}\end{array}$$

正态分布：

$X\sim N(\mu ,{\sigma }^2)$

其中 $E(X)=\mu ,D(X)={\sigma }^2$

做变换 $Y=\frac{X-\mu }{\sigma }\sim N(0,1)$，则$E(Y)=0,D(Y)=1$