82、期望传播与基于解释的学习

期望传播与基于解释的学习

1. 期望传播

1.1 基本概念

期望传播（Expectation Propagation）是对假设密度过滤（Assumed density filtering）的一种推广。在假设密度过滤中，当加入项 $\Psi_i(w)$ 时，高斯近似会从 $Q_{0W_{i - 1}}(w)$ 变为 $Q_{0W_i}(w)$，这两个的商被称为项近似（term approximation），即 $Q_{\Psi_i}(w) = \frac{Q_{0W_i}(w)}{Q_{0W_{i - 1}}(w)}$。在常见例子中，项近似是两个不同高斯密度的商，因此本身也具有高斯形式。由于先验 $\Psi_0(w)$ 是高斯密度，所以 $Q_{\Psi_0}(w) = \Psi_0(w)$，近似 $Q_{0W_n}(w)$ 等于所有项近似的乘积。

1.2 算法流程

期望传播通过迭代细化项近似来进行，其伪代码如下：

Algorithm 1 Assumed density filtering
1: Q0(w) = Ψ0(w)
2: for i = 1 to n do
3:
    Q0Wi(w) = Project to Gaussian(Q0Wi - 1(w)Ψi(w))
4: end for

Algorithm 2 Expectation propagation
1: QΨ0(w) = Ψ0(w)
2: for i = 1 to n do
3:
    QΨi(w) = 1
4: end for
5: Q(w) = ∏(i = 0 to n) QΨi(w)
6: