35、指数族：分布表示、熵与投影的深入解析

指数族：分布表示、熵与投影的深入解析

1. 线性指数族的构建

在许多概率分布的研究中，线性指数族是一个重要的概念。通过与伯努利分布类似的论证，我们可以对多项分布进行重新参数化。若定义 (t(\theta) = \langle\ln \frac{\theta_2}{\theta_1}, \ldots, \ln \frac{\theta_k}{\theta_1}\rangle)，就能重构原始的多项分布。并且，容易验证 (t) 的像为 (\mathbb{R}^{k - 1})，经过这样的重新参数化，我们便得到了一个线性指数族。

不过，并非所有的分布族都是线性的，虽然有这样的例子，但需要额外的工具来进行分析。

2. 因子化指数族

之前的指数族例子多为单变量分布，实际上，我们可以将其扩展到多变量分布。例如，对数线性模型就是一种多变量分布的指数族表示形式。

对数线性模型的定义为：
(P(X_1, \ldots, X_n) \propto \exp\left(\sum_{i = 1}^{k} \theta_i \cdot f_i(D_i)\right))
其中，每个特征 (f_i) 是一个作用于范围 (D_i) 的函数。这种分布显然是一个线性指数族，其充分统计量为特征向量 (\tau(\xi) = \langle f_1(d_1), \ldots, f_k(d_k)\rangle)。通过选择合适的特征，我们可以设计一个对数线性模型来表示给定的离散马尔可夫网络结构，这表明离散马尔可夫网络是线性指数族。

2.1 乘积分布

对于具有乘积形式的其他分布，情况看似简单。乘积形式的项对应着指数族的简