28、指数族分布的深入解析

指数族分布的深入解析

1. 复杂情形下的最大似然估计

在许多实际问题中，我们会遇到比单一高斯分布更复杂的情况。当对数内部存在对 $k$ 的求和时，参数的最大似然解不再有封闭形式的解析解。例如，给定数据集 $X = {x_1, \ldots, x_N}$，此时的情况就比单一高斯分布复杂得多。

为了最大化似然函数，有两种常见的方法：
- 迭代数值优化技术 ：可以使用迭代数值优化技术来寻找似然函数的最大值。
- 期望最大化算法 ：另一种强大的方法是期望最大化算法。

2. 指数族分布的定义

除了高斯混合分布外，我们之前研究过的概率分布大多是指数族分布的具体例子。指数族分布具有许多重要的共同性质，研究这些性质具有普遍的指导意义。

指数族分布的定义如下：给定参数 $\eta$，关于 $x$ 的指数族分布是指具有以下形式的分布集合：
[p(x|\eta) = h(x)g(\eta) \exp{\eta^T u(x)}]
其中，$x$ 可以是标量或向量，也可以是离散或连续的变量。$\eta$ 被称为分布的自然参数，$u(x)$ 是关于 $x$ 的某个函数，$g(\eta)$ 是确保分布归一化的系数，满足：
[g(\eta) \int h(x) \exp{\eta^T u(x)} dx = 1]
如果 $x$ 是离散变量，则积分替换为求和。

3. 常见分布与指数族的关系

下面我们来看几个常见分布如何表示为指数族分布的形式。

3.1 伯努利分布