11、近似推理：EM、MAP与变分推理算法解析

近似推理：EM、MAP与变分推理算法解析

1. 近似推理基础

1.1 辅助函数与似然函数关系

在参数估计中，辅助函数 (Q(\theta|\theta^{(\tau)})) 的增加意味着对数似然函数 (L(\theta)) 的增加，进而使得似然函数 (p(X|\theta)) 增加。通过最大化辅助函数，利用更新后的参数 (\theta^{(\tau)} \to \theta^{(\tau + 1)}) 必然会提高似然函数的值。不过，由于这并非对原始似然函数的直接优化，所以辅助函数的优化只能得到最大似然（ML）参数估计问题的局部最优解。

1.2 EM算法的另一种视角

引入定义在隐变量 (Z) 上的分布 (q(Z))，对于任意的 (q(Z))，对数似然函数可分解为：
[
\log p(X|\theta) = D_{KL}(q \parallel p) + L(q, \theta)
]
其中：
- (D_{KL}(q \parallel p) = -\sum_{Z} q(Z) \log \left(\frac{p(Z|X, \theta)}{q(Z)}\right) = -E_q[\log p(Z|X, \theta)] - H_q[Z])
- (L(q, \theta) = \sum_{Z} q(Z) \log \left(\frac{p(X, Z|\theta)}{q(Z)}\right) = E_q[\log p(X, Z|\theta)] + H_q[Z])
- (H_q[Z] \triangleq -\sum_{Z} q(Z) \log q(Z)) 是 (q(Z)) 的熵。 </