概率论与数理统计(六)

协方差与相关系数

$X,Y$ 的协方差：

$$\begin{array}{rl}\text{Cov}(X,Y)& =E\left[(X-E(X))(Y-E(Y))\right]\\ & =E(XY-XE(Y)-YE(X)+E(X)E(Y))\\ & =E(XY)-E(X)E(Y)-E(X)E(Y)+E(X)E(Y)\\ & =E(XY)-E(X)E(Y)\end{array}$$

所以有 $\text{Cov}(X,Y)=E(XY)-E(X)E(Y)$

且 $D(X\pm Y)=D(X)+D(Y)\pm 2\text{Cov}(X,Y)$

为了防止 $\text{Cov}(X,Y)$ 受到单位的影响，做如下标准化操作：

$$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}},Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}}$$

那么有：

$$\begin{array}{rl}\text{Cov}(X^{\ast },Y^{\ast })& =E(X^{\ast }{Y}^{\ast })-E(X^{\ast })E(Y^{\ast })\\ & =E\left[\frac{X-E(X)}{\sqrt{D(X)}}\cdot \frac{Y-E(Y)}{\sqrt{D(Y)}}\right]-E\left(\frac{X-E(X)}{\sqrt{D(X)}}\right)E\left(\frac{Y-E(Y)}{\sqrt{D(Y)}}\right)\\ & =\frac{E[(X-E(X))(Y-E(Y))]}{\sqrt{D(X)}\sqrt{D(Y)}}\\ & =\frac{\text{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\\ & =\rho \end{array}$$

其中 $\rho$ 被称为相关系数，它的作用是衡量两个随机变量之间的线性关系

引理：$[E(XY){]}^2⩽E(X{)}^{2}E(Y{)}^2$

证明：

取函数 $g(t)$ 有：

$$\begin{array}{rl}g(t)& =E[(tX-Y{)}^2]\\ & =E(t^2{X}^2-2tXY+Y^2)\\ & =t^{2}E(X^2)-2tE(XY)+E(Y^2)\\ & ⩾0\\ \Rightarrow \Delta & =4E(XY{)}^2-4E(X^2)E(Y^2)\\ & ⩽0\end{array}$$

从而：

$$\Rightarrow [E(XY){]}^2⩽E(X{)}^{2}E(Y{)}^2$$

定理：相关系数有性质 ${\rho }^2⩽1$

证明：

令 $X_1=X-E(X)，Y_1=Y-E(Y)$，于是：

$$\begin{array}{rl}{\rho }^2& =\frac{{\left(E\left[(X-E(X))(Y-E(Y))\right]\right)}^2}{D(X)D(Y)}\\ & =\frac{[E(X_1{X}_2){]}^2}{E(X_1{)}^{2}E(X_2{)}^2}\\ & ⩽\frac{E(X_1{)}^{2}E(X_2{)}^2}{E(X_1{)}^{2}E(X_2{)}^2}\\ & =1\end{array}$$

定理：

$|\rho =1|\iff X$ 与 $Y$ 以 $P=1$ 成线性关系；即 $P(Y=aX+b)=1$

1、$\rho =1$，$X,Y$ 完全正相关

2、$\rho =-1$，$X,Y$ 完全负相关

3、$|\rho |$ 接近 $0$，$X,Y$ 线性关系很弱

4、$\rho =0$，则 $X,Y$ 不存在线性关系

*注意：$X,Y$不相关，是指$X,Y$没有线性关系；而 $X,Y$ 独立，是指 $X,Y$ 没有任何关系

定理：$X,Y$ 独立，则 $X,Y$ 不相关

证明：

$$\begin{array}{rl}& \because X,Y独立E(XY)=E(X)E(Y)\\ & \rho =\frac{E(XY)-E(X)E(Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=0\\ & \therefore X,Y不相关\end{array}$$

定理：$X,Y$ 不相关，$X,Y$ 不一定独立

中心矩和原点矩

原点矩：$E(X^k)$

期望 $E(X)$ 为一阶原点矩

中心矩：$E[(X-E(X){)}^k]$

一阶中心矩：$E(X-E(X))=E(X)-E(X)=0$

二阶中心矩：$E[(X-E(X){)}^2]$ 即为方差