27、混合模型与期望最大化算法详解

混合模型与期望最大化算法详解

1. 指数族分布

1.1 指数族分布定义

我们用 $f_{\theta}(x)$ 表示随机变量 $x$ 的参数化概率分布，其中 $\theta$ 表示常规模型参数。若能将其重新参数化为以下指数形式：
[f_{\theta}(x) = \exp\left(A(\bar{x}) + \bar{x}^{\top}\lambda - K(\lambda)\right)]
则称分布 $f_{\theta}(x)$ 属于指数族（简称 e - 族）。在这个标准形式中，$\lambda = g(\theta)$ 通常被称为模型的自然参数，它仅通过函数 $g(\cdot)$ 依赖于常规模型参数 $\theta$（与 $x$ 无关）；$\bar{x} = h(x)$ 被称为模型的充分统计量，它仅通过另一个函数 $h(\cdot)$ 依赖于 $x$（与 $\theta$ 无关）。$K(\lambda)$ 是一个归一化项，用于确保 $f_{\theta}(x)$ 满足求和为 1 的约束条件。

我们可以通过以下方式推导 $K(\lambda)$：
[\int_{x} f_{\theta}(x)dx = 1 \Rightarrow K(\lambda) = \ln\left[\int_{x} \exp\left(A(h(x)) + (h(x))^{\top}\lambda\right)dx\right]]

1.2 指数族分布的对数似然函数

指数族分布的一个重要性质是，其对数似然函数可以用相当简单的形式表示，因为指数可以抵消对数。对 $f_{\theta}(x)$ 取对数，可得：
[\ln f