23、概率模型结构学习与评估方法解析

概率模型结构学习与评估方法解析

1. 模型似然

对于变量 $v$ 及其独立同分布（i.i.d.）数据 $D(v) = {(v_n|\text{pa}(v_n)), n = 1, \ldots, N}$，其似然计算如下：
- 首先有 $\prod_{n} p(v_n|\text{pa}(v_n)) = \int_{\theta(v)} p(\theta(v)) \prod_{n} p(v_n|\text{pa}(v_n), \theta(v))$ （式 9.4.49）。
- 进一步推导可得 $\int_{\theta(v)} \left{\prod_{j} \frac{1}{Z(u(v; j))} \prod_{i} \theta_i(v; j)^{u_i(v;j)-1} \right} \prod_{n} \prod_{j} \prod_{i} \theta_i(v; j)^{I[v_n=i,\text{pa}(v_n)=j]}$ （式 9.4.50）。
- 再化简为 $\prod_{j} \frac{1}{Z(u(v; j))} \int_{\theta(v;j)} \prod_{i} \theta_i(v; j)^{u_i(v;j)-1+#(v=i,\text{pa}(v)=j)}$ （式 9.4.51）。
- 最终得到 $\prod_{j} \frac{Z(u’(v; j))}{Z(u(v; j))}$ （式 9.4.52）。
其中，$Z(u)$ 是具有超参数 $u$ 的狄利克雷分布的归一化常数，$u’$ 由式（9.4.43）给出。

对于变量 $v = (v_1, \ldots, v_D)$ 的信念网络，所有变量的联合概率可分解为每个变量在其父母条件下