机器学习|随机变量独立性（二维随机变量及多维）|10mins入门|概统学习笔记（三）

随机变量的独立性

• 两随机变量独立的定义（各种情况）：

  • 两事件A，B独立的定义：若有
    $$P(AB)=P(A)P(B)$$
    则称事件A，B独立。

  • 设X，Y是两个随机变量，若对任意的x，y，有

  $$P(X\le x,Y\le y)=P(X\le x)P(Y\le y)$$

  ​ 则称X，Y相互独立

  • 用分布函数表示，即设X，Y是两个随机变量，对任意的随机变量x，y，有
    $$F(x,y)=F_X(x)F_Y(y)$$
    则称X，Y相互独立

    它表明，两个随机变量相互独立时，它们的联合分布函数等于两个边缘分布函数的乘积。

  • 若（X，Y）是离散型随机变量，则上述独立性的定义等价于：对（X，Y）的所有可能取值$(x_i,y_j)$有
    $$P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j)$$
    则称X和Y相互独立

  • 若（X，Y）是连续型随机变量，则上述独立性定义等价于：对任意的x，y，有
    $$f(x,y)=f_X(x)f_Y(y)$$
    几乎处处成立（在平面上除去面积为0的集合外，处处成立），则称X，Y相互独立。

    其中$f(x,y)$是X，Y的联合密度，$f_X(x),f_Y(y)$分别是X的边缘密度和Y的边缘密度

• 推广到两个以上的随机变量的情形：

  • 定理1：若连续型随机向量$(X_1,...,X_n)$的概率密度函数$f(x_1,...,x_n)$可表示为n个函数$g_1,...,g_n$之积，其中$g_i$只依赖于$x_i$，即
    $$f(x_1,...,x_n)=g_1(x_1)\times ...\times g_n(x_n)$$
    则$X_1,..,X_n$相互独立，且$X_i$的边缘密度$f_i(x_i)$与$g_i(x_i)$只相差一个常数因子。

  • 定理2：若$X_1,...,X_n$相互独立，而
    $$Y_1=g_1(X_1,...,X_m)，Y_2=g_2(X_{m+1},...,X_n)$$
    则$Y_1$与$Y_2$独立。