8、概率模型的参数与结构学习

概率模型的参数与结构学习

1. 参数学习概述

参数学习主要是从数据中推断概率模型的参数，常见的方法有最大似然法和贝叶斯法：
- 最大似然法 ：通过最大化似然函数来估计参数，部分模型可通过解析方法求解。
- 贝叶斯法 ：利用贝叶斯规则推断参数的概率分布，例如使用beta和Dirichlet分布作为先验，这些先验能方便地根据证据更新。

与参数学习相对的是非参数学习，它不假设固定的参数化形式，模型表示会随数据量增长而变化。当数据存在缺失值时，可以使用数据插补或期望最大化等方法，基于观测值进行推断。

2. 高斯混合模型的参数学习示例

假设存在一个贝叶斯网络 (Z \to X)，其中 (Z) 是离散的潜在变量，有三个取值，(X) 是连续变量，且 (p(x | z)) 为条件高斯分布。我们有定义 (P(z_1))、(P(z_2))、(P(z_3)) 的参数，以及与 (Z) 的不同取值相关的三个高斯分布的 (\mu_i) 和 (\sigma_i)。

在这个例子中，初始参数向量 (\hat{\theta}) 设定为 (P(z_i) = 1/3) 且 (\sigma_i = 1)，均值分别为 (\mu_1 = -4)，(\mu_2 = 0)，(\mu_3 = 4)。若数据集中第一个实例的 (X = 4.2)，我们可以通过以下公式推断该实例上 (Z) 的分布：
[P(z_i | X = 4.2) = \frac{P(z_i) N(4.2 | \mu_i, \sigma_i^2)}{\sum_j P(z_j) N(4.2 | \mu_j, \sigma_