34、信念修正、EM算法与因果信念推理

信念修正、EM算法与因果信念推理

1. EM算法中的E步与M步

1.1 E步的结果

设 $(X ×Y)^N$ 涉及潜在变量 $X$，且与观测样本 $y$ 一致。用 $P_y$ 表示 $(X × Y, \wp(X) × \wp(Y))$ 上的联合概率测度集合，其在 $Y$ 上的边际分布与样本 $y$ 对应的经验分布 $(p_1, \ldots, p_r) = (\frac{n_1}{N}, \ldots, \frac{n_r}{N})$ 重合。

命题1表明，E步的结果 $\hat{p}^{(n - 1)}$ 是由杰弗里条件化规则生成的后验概率分布，其中输入信息由观测样本概率给出。证明时，比较特定的方程（式(5)和式(7)），在式(7)中，令 $S = X × Y$，先验概率 $P$ 是具有质量函数 $p(a_k, b_j; \theta^{(n - 1)})$ 的参数化概率，输入来自可观测样本 $y$，即 $A_j = X × {b_j}$，概率为 $\rho_j = \frac{n_j}{N}$。

1.2 M步的目标

M步旨在寻找给定式(7)中提出的联合经验分布下 $\theta$ 的最大似然估计（MLE）。第 $n$ 次M步要优化的准则是：
$F(P(\cdot|y; \theta^{(n - 1)}), \theta) = L_y(\theta) - D\left{P(\cdot|y; \theta^{(n - 1)}), P(\cdot|y; \theta)\right}$
其中：
$D(P(\cdot|y; \theta^{(n - 1)}), P(\cdot|y; \theta)) = \su