2、概率基础与常见分布解析

概率基础与常见分布解析

1. 概率基础概念

1.1 联合与边缘概率分布

边缘概率是从联合分布中推导出来的。对于离散情况，边缘概率 $Pr(x)$ 通过对联合分布 $Pr(x,y)$ 中所有 $y$ 值求和得到；对于连续情况，则是对 $y$ 进行积分。同理，$Pr(y)$ 是对 $x$ 求和或积分得到。需要注意的是，边缘分布的绘图尺度与联合分布不同。
- 当 $x$ 和 $y$ 都是连续变量时，通过积分求边缘概率。
- 当 $x$ 和 $y$ 都是离散变量时，通过求和求边缘概率。
- 当 $x$ 是连续变量，$y$ 是离散变量时，分别采用积分和求和的方式。

1.2 条件概率

条件概率 $Pr(x|y = y^ )$ 表示在随机变量 $y$ 固定为 $y^ $ 的情况下，随机变量 $x$ 取不同结果的相对倾向。可以从联合分布 $Pr(x,y)$ 中恢复条件概率，具体方法是观察联合分布中 $Pr(x,y = y^ )$ 这一切片。由于该切片的值不能构成有效的概率分布（它们的和不为 1），需要通过切片的总概率进行归一化来计算条件概率分布：
[Pr(x|y = y^ ) = \frac{Pr(x,y = y^ )}{\int Pr(x,y = y^ )dx} = \frac{Pr(x,y = y^ )}{Pr(y = y^ )}]
通常写成更紧凑的形式：
[Pr(x|y) = \frac{Pr(x,y)}{Pr(y)}]
由此可以推导出：
[Pr(x,y) = Pr(x|y)Pr(y)]