21、概率分布与参数学习：从理论到实践

概率分布与参数学习：从理论到实践

1. 概率分布基础

1.1 经典单变量分布

经典的单变量分布包括指数分布、Gamma 分布、Beta 分布、高斯分布和泊松分布。这些分布在不同的场景中有着广泛的应用。例如，指数分布常用于描述事件发生的时间间隔，泊松分布则用于描述在一定时间或空间内事件发生的次数。

1.2 分布的分布：Dirichlet 分布

Dirichlet 分布是一种经典的分布的分布，它在处理多个概率的分布时非常有用。其边际分布也是 Dirichlet 分布，即：
[
\int_{\theta_j} \text{Dirichlet}(\theta|u) = \text{Dirichlet}(\theta\backslash_j|u\backslash_j)
]

1.3 多变量分布

多变量分布在计算上通常比较困难，但多元高斯分布是一个特殊情况。对于多元高斯分布，其边际分布和归一化常数可以在模型变量数量的立方时间内计算得出。

1.4 分布差异的度量：Kullback - Leibler 散度

Kullback - Leibler 散度是一种有用的度量分布之间差异的方法。它衡量了从一个分布到另一个分布的信息损失。

1.5 贝叶斯规则与参数学习

贝叶斯规则允许我们通过将先验参数信念转化为基于观测数据的后验参数信念来实现参数学习。然而，贝叶斯规则本身并没有说明如何最好地总结后验分布。

1.6 共轭分布

共轭分布的特点是先验和后验来自同一分布，只是参数不同。例如，对于高斯分布，当均值 $\