概率中的独立与相关：相互独立、条件独立、协方差、相关系数

概念定义

（随机变量之间）相互独立：两个随机变量 x 和 y ，如果它们的概率分布可以表示成两个因子的乘积形式，并且一个因子只包含 x 另一个因子只包含 y ，我们就称这两个随机变量是相互独立的。

设 $A$，$B$ 是两事件，如果满足等式 $$P(AB)=P(A)P(B)$$
则称事件 $A$，$B$ 相互独立。

（随机变量之间）条件独立: 如果关于 x 和 y 的条件概率分布对于 z 的每一个值都可以写成乘积的形式，那么这两个随机变量 x 和 y 在给定随机变量 z 时是条件独立的.

设 $A，B，C$ 是三事件，如果满足等式 $$P(AB|C)=P(A|C)P(B|C)$$
则称事件 $A$，$B$ 满足 $C$ 条件下的相互独立。

协方差在某种意义上给出了两个变量线性相关性的强度以及这些
变量的尺度：
C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X, Y) = E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}

相关系数将每个变量的贡献归一化，为了只衡量变量的相关性而不受各个变量尺度大小的影响。
$${\rho }_{X,Y}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

若相关系数 ${\rho }_{xy}=0$，则称随机变量 X 与 Y 不相关。相关性描述的是线性相关关系。

协方差和相关性的关系论述

书中讲，如果两个变量相互独立，那么它们的协方差为零；如果两个变量的协方差不为零，那么他们一定是相关的。容易得到独立的两个变量一定不相关。但不相关的两个变量，不一定是独立的。