3、概率分布的表示与应用

概率分布的表示与应用

1. 高斯混合模型

高斯混合模型是一种常用的概率模型，它由多个高斯分布加权组合而成。例如，我们可以创建一个具有两个分量的高斯混合模型，其中分量 $\mu_1 = 5$，$\sigma_1 = 2$，$\mu_2 = -5$，$\sigma_2 = 4$，权重分别为 $\rho_1 = 0.6$ 和 $\rho_2 = 0.4$。

表示多峰连续分布的另一种方法是通过离散化。例如，我们可以将连续变量的分布表示为分段均匀密度。密度由区间边界指定，并且每个区间都关联一个概率质量。这种分段均匀分布是一种混合模型，其中的分量是均匀分布。

2. 联合分布

联合分布是多个变量上的概率分布。单个变量上的分布称为单变量分布，多个变量上的分布称为多变量分布。如果我们有两个离散变量 $X$ 和 $Y$ 的联合分布，那么 $P(x, y)$ 表示 $X = x$ 且 $Y = y$ 的概率。

从联合分布中，我们可以使用全概率定律计算一个变量或一组变量的边缘分布，即对所有其他变量求和。如果分布是连续的，则在边缘化时对其他变量进行积分。

2.1 离散联合分布

如果变量是离散的，联合分布可以用表格表示。例如，对于三个二元变量，每个变量只能取 0 或 1，总共有 $2^3 = 8$ 种可能的赋值。与其他离散分布一样，表格中的概率必须总和为 1。因此，虽然表格中有八个条目，但只有七个是独立的。

X	Y	Z	P(X, Y, Z)