2、概率知识及常见概率分布详解

概率知识及常见概率分布详解

1. 概率基础概念

1.1 联合与边缘概率分布

边缘概率的计算方式取决于变量是离散还是连续。对于离散变量，通过对联合分布中其他变量的所有值求和得到；对于连续变量，则通过对其他变量积分得到。例如，边缘概率 $Pr(x)$ 可通过对联合分布 $Pr(x,y)$ 中 $y$ 的所有值求和（离散情况）或积分（连续情况）得到，同理可求 $Pr(y)$ 。

1.2 条件概率

条件概率 $Pr(x|y = y^ )$ 表示在随机变量 $y$ 固定为 $y^ $ 时，随机变量 $x$ 取不同结果的相对倾向。它可从联合分布 $Pr(x,y)$ 中恢复，具体为：
[Pr(x|y = y^ ) = \frac{Pr(x,y = y^ )}{\int Pr(x,y = y^ )dx} = \frac{Pr(x,y = y^ )}{Pr(y = y^*)}]
通常简记为：
[Pr(x|y) = \frac{Pr(x,y)}{Pr(y)}]
由此可推导出：
[Pr(x,y) = Pr(x|y)Pr(y)]
以及对称形式：
[Pr(x,y) = Pr(y|x)Pr(x)]

1.3 贝叶斯规则

由上述联合概率的两种表达式可得到贝叶斯规则：
[Pr(y|x)Pr(x) = Pr(x|y)Pr(y)]
变形可得：
[Pr(y|x) = \frac{Pr(x|y)Pr(y)}{Pr(x)} = \frac{Pr(x|y)Pr(y)}{\int Pr(x,y