29、指数族分布相关概念解析

指数族分布相关概念解析

在概率推断领域，指数族分布有着重要的地位，它涉及到充分统计量、共轭先验和无信息先验等关键概念。下面我们将详细探讨这些内容。

充分统计量

在求最大似然估计时，其解仅依赖于 $\sum_{n} u(x_n)$，这个量被称为分布的充分统计量。这意味着我们无需存储整个数据集，只需记录充分统计量的值即可。

例如：
- 对于伯努利分布，$u(x) = x$，我们只需保存数据点 ${x_n}$ 的总和。
- 对于高斯分布，$u(x) = (x, x^2)^T$，我们需要同时保存 ${x_n}$ 的总和以及 ${x_n^2}$ 的总和。

当样本数量 $N \to \infty$ 时，最大似然估计值 $\eta_{ML}$ 将等于真实值 $\eta$。实际上，这种充分性性质在贝叶斯推断中同样成立。

以下是充分统计量相关内容的表格总结：
| 分布类型 | $u(x)$ 形式 | 需保存的量 |
| ---- | ---- | ---- |
| 伯努利分布 | $x$ | $\sum_{n} x_n$ |
| 高斯分布 | $(x, x^2)^T$ | $\sum_{n} x_n$ 和 $\sum_{n} x_n^2$ |

其逻辑流程可以用以下 mermaid 流程图表示：

graph LR
    A[数据集] --> B[计算充分统计量 \(\sum_{n} u(x_n)\)]
    B --> C[求解最大似然估计 \(\eta_{ML}\)]
    C