机器学习笔记1 - 概率分布

一 概率分布

1 联合概率分布

联合概率分布简称联合分布，是两个及以上随机变量组成的随机向量的概率分布。根据随机变量的不同，联合概率分布的表示形式也不同。对二维随机变量X和Y，其联合分布是同时对于X和Y的概率分布。举个例子，男生向女生表白，女生答应的概率取决于男生的外貌、身高、性格等多个因素，这里男生表白成功的概率就是外貌、身高、性格等变量的联合概率分布。

• 对于二维离散型随机变量(X,Y)，联合概率分布函数：

$\displaystyle\sum_{x} \displaystyle\sum_{y} P(X=x_i , Y=y_i)=1$

• 对于二维连续型随机变量(X,Y)，联合分布概率密度函数：

$\int_x \int_y f_{X,Y} (x,y) =1$

2 条件概率分布

已知两个相关的随机变量$X$和$Y$，随机变量$Y$在条件${X=x_i}$下的条件概率分布是指：当已知$X$的取值为某个特定值$x_i$之时，$Y$的概率分布：