概率论知识回顾（十八）：协方差和相关系数

概率论知识回顾（十八）

重点：协方差和相关系数

知识回顾用于巩固知识和查漏补缺。知识回顾步骤：

1. 查看知识回顾中的问题，尝试自己解答
2. 自己解答不出来的可以查看下面的知识解答巩固知识。
3. 对知识解答有疑问的，说明有关这一点的知识或者公式没有理解透彻或者没有记住，要重新翻看书籍。

知识回顾

1. 协方差的公式定义是什么？协方差是用来衡量什么的？
2. 当两个随机变量相互独立的时候，协方差的值是什么？简要证明并尝试列举和方差的关系。
3. 简述柯西–许瓦兹不等式以及不等式等号成立条件的证明。
4. 相关系数的公式定义是什么？它又是用来衡量什么的？为什么要是用相关系数？
5. 给出随机变量 $X,Y$ 不相关的几条等价表示。
6. 给出相关系数 ${\rho }_{XY}$ 两条性质的证明。

---

知识解答

1. 协方差的公式定义是什么？协方差是用来衡量什么的？

   • 公式定义 $Cov(X,Y)=E[(X-EX)(Y-EY)]$
   • 协方差用来衡量随机变量之间的相关关系的，如果 $Cov(X,Y)=0$, 就可以说两个随机变量之间不相关。
   • 由于独立的要求比相关更严格，即：独立一定不相关，但不相关不一定独立。那么我们就可以进行断行
     • 如果两个随机变量具有某种相关关系，那么他们一定不相互独立。
     • 如果两个随机变量相互独立，那么他们就一定相关。

2. 当两个随机变量相互独立的时候，协方差的值是什么？简要证明并尝试列举和方差的关系。

   • 在第一个问题中已经得到了解答，当两个随机变量相互独立的时候，一定是不相关的，那么 $Cov(X,Y)=0$.

   证明：首先，我们分解 $Cov(X,Y)$ 就有：

   $$\begin{array}{rl}Cov(X,Y)& =E(XY)-XE(Y)-YE(X)+E(X)E(Y)\\ & =E(XY)-2E(X)E(Y)+E(X)E(Y)\\ & =E(XY)-E(X)E(Y)\end{array}$$

   同时，如果 $X,Y$ 相互独立的话，有 $E(XY)=E(X)E(Y)$ , 因此就可知 $Cov(X,Y)=0$

   • 另外，从协方差的定义中可以看到 ， 当 $X=Y$ 的时候， $Cov(X,Y)=D(X)$
   • $D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$

   证明： （从一般情况得到两个随机变量的情况）

   由于有 $D(X)=Cov(X,X)$ 因此可知 $D({\sum }_{i=1}^n{X}_i)=Cov({\sum }_{i=1}^n{X}_i,{\sum }_{j=1}^n{X}_j)$

   上面的公式是把 ${\sum }_{i=1}^n{X}_i$ 看做一个随机变量，这时候 ${\sum }_{i=1}^n{X}_i$ 和 ${\sum }_{i=j}^n{X}_j$ 是相等的。

   同时，根据协方差的性质，$Cov({\sum }_{i=1}^n{a}_i{X}_i,{\sum }_{j=1}^m{b}_j{Y}_j)={\sum }_{i=1}^n{\sum }_{j=1}^m{a}_i{b}_{j}Cov(X_i,Y_j)$

   就有：
   $\begin{array}{rl}Cov(\sum _{i=1}^n{X}_i,\sum _{j=1}^n{X}_j)& =\sum _{i=1}^n\sum _{j=1}^{n}Cov(X_i,X_j)\\ & =\sum _{i=1}^{n}Cov(X_i,X_i)+{\sum \sum }_{i̸=j}Cov(X_i,X_j)\\ & =\sum _{i=1}^{n}D(X_i)+2{\sum \sum }_{1\le i<j\le n}Cov(X_i,X_j)\end{array}$

   从上面的一般式就可以得出 n = 2 的情况。

3. 简述柯西–许瓦兹不等式以及不等式等号成立条件的证明。

   • 对任意的随机变量 $X,Y$, 若 $E(X^2)<+\infty ,E(Y^2)<+\infty$, 则有 $[E(XY){]}^2\le E(X^2)\cdot E(Y^2)$, 当且仅当 P{Y=t0X}=1P\{Y = t_0X\} = 1P{Y=t0​X}=1 时等号成立，其中 $t_0$ 为某常数。

     证明：令 $u(t)=E(tX-Y{)}^2=t^{2}E(X^2)-2tE(XY)+E(Y^2)$ 可以知道 $u(t)$ 没有实根或者只有一个重根。因此就有 $\Delta =[2E(XY){]}^2-4E(X^2)E(Y^2)\le 0\leftrightarrow [E(XY){]}^2\le E(X^2)\cdot E(Y^2)$

     如果 $\Delta =0$, 就有 存在一个 $t_0$ 使得 $E(tX-Y{)}^2=0$

     同时，有 $0\le D(t_{0}X-Y)=E(t_{0}X-Y{)}^2-[E(t_{0}X-Y){]}^2=-[E(t_{0}X-Y){]}^2\le 0$

     因此可知 $D(t_{0}X-Y)=0,E(t_{0}X-Y)=0$

     根据方差的性质有：$D(X)=0$的充要条件是存在常数C使得P{X=C}=1P\{X=C\}=1P{X=C}=1, 其中$C=E(X)$

     这里，我们使 $Z=t_{0}X-Y$ 有 $D(Z)=0,E(Z)=0$ 因此有 P{Z=0}=1↔P{t0X−Y=0}=1↔P{t0X=Y}=1P\{Z=0\}=1 \leftrightarrow P\{t_0X-Y=0\} = 1 \leftrightarrow P\{t_0X=Y\}=1P{Z=0}=1↔P{t0​X−Y=0}=1↔P{t0​X=Y}=1

   • 将上面的公式里面的 $X$ 替换成 $X-E(X)$, $Y$ 替换成 $Y-E(Y)$ 就有 $[Cov(X,Y){]}^2\le D(X)D(Y)$

4. 相关系数的公式定义是什么？它又是用来衡量什么的？为什么要是用相关系数？

   • ${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=Cov(\frac{X-E(X)}{\sqrt{D(X)}},\frac{Y-E(Y)}{\sqrt{D(Y)}})=Cov(X^{\ast },Y^{\ast })$
   • 相关系数和协方差的关系就类似于变异系数和方差的关系一样，它是协方差的标准化表示，也是表示随机变量之间相关关系的表示，于协方差不同的是，协方差容易受随机变量本身数值大小的影响，由于相关系数是进行标准化后的度量，因此可以更好的度量相关关系。

5. 给出随机变量 $X,Y$ 不相关的几条等价表示。

   • $Cov(X,Y)=0$
   • ${\rho }_{XY}=0$
   • $D(X\pm Y)=D(X)+D(Y)$
   • $E(XY)=E(X)E(Y)$

6. 给出相关系数 ${\rho }_{XY}$ 两条性质的证明。

   • $|{\rho }_{XY}|\le 1$

     证明：令 $X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}},Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}}$。 有 $D(X^{\ast })=1,D(Y^{\ast })=1$

     同时，根据第三问中的结论 $[Cov(X,Y){]}^2\le D(X)D(Y)$ 可知 ${\rho }_{XY}^2\le D(X^{\ast })D(Y^{\ast })=1$

     因此可知 $|{\rho }_{XY}|\le 1$

   • $|{\rho }_{XY}|=1$ 的充要条件是 X 与 Y 以概率 1 线性相关，即存在常数 a 和 b 使得 P{Y=aX+b}=1P\{Y = aX + b\} = 1P{Y=aX+b}=1。即

     • ${\rho }_{XY}=1$ 当且仅当 P{Y−E(Y)D(Y)=X−E(X)D(X)}=1P\{\frac{Y-E(Y)}{\sqrt{D(Y)}} = \frac{X-E(X)}{\sqrt{D(X)}}\} = 1P{D(Y)​Y−E(Y)​=D(X)​X−E(X)​}=1
     • ${\rho }_{XY}=-1$ 当且仅当 P{Y−E(Y)D(Y)=−X−E(X)D(X)}=1P\{\frac{Y-E(Y)}{\sqrt{D(Y)}} = -\frac{X-E(X)}{\sqrt{D(X)}}\} = 1P{D(Y)​Y−E(Y)​=−D(X)​X−E(X)​}=1

     证明：

     $$|{\rho }_{XY}|=1\leftrightarrow {\rho }_{XY}^2=1\leftrightarrow [E(X^{\ast }{Y}^{\ast })-E(X^{\ast })E(Y^{\ast }){]}^2=1$$

     同时，由于 $E(X^{\ast })=E(Y^{\ast })=0,E(X^{\ast }{)}^2=E(Y^{\ast }{)}^2=1$

     可以知道

     $$[E(X^{\ast }{Y}^{\ast })-E(X^{\ast })E(Y^{\ast }){]}^2=[E(X^{\ast }{Y}^{\ast }){]}^2=1=E(X^{\ast }{)}^{2}E(Y^{\ast }{)}^2$$

     根据 柯西–许瓦兹不等式我们知道，满足上面等式的当且仅当存在 $t_0$ 使得 P{Y∗=CX∗}=1P\{Y^* = CX^*\} =1P{Y∗=CX∗}=1

     因此有

     P{Y−E(Y)D(Y)=CX−E(X)D(X)}↔P{Y=CD(Y)D(X)X+(E(Y)−CE(X)D(Y)D(X))}P\{\frac{Y-E(Y)}{\sqrt{D(Y)}} = C\frac{X-E(X)}{\sqrt{D(X)}}\} \leftrightarrow P\{Y = C\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}X + (E(Y) - CE(X)\frac{\sqrt{D(Y)}}{\sqrt{D(X)}})\}P{D(Y)​Y−E(Y)​=CD(X)​X−E(X)​}↔P{Y=CD(X)​D(Y)​​X+(E(Y)−CE(X)D(X)​D(Y)​​)}

     根据上面的公式，很明显，令 $a=C\frac{\sqrt{D(Y)}}{\sqrt{D(X)}},b=E(Y)-CE(X)\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}$ 就能得到 $Y=aX+b$

     同理，根据 ${\rho }_{XY}=1$ 有 $Y^{\ast }=C{X}^{\ast }$

     就有 $Cov(X^{\ast },Y^{\ast })=Cov(X^{\ast },C{X}^{\ast })=CD(X\ast )=C=1$, 证毕。

     同理当 ${\rho }_{XY}=-1$ 也可证明。