EM算法的导出、收敛性证明

最新推荐文章于 2024-10-11 21:24:02 发布

原创

最新推荐文章于 2024-10-11 21:24:02 发布 · 1.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#EM算法 #机器学习

本文详细解析了EM算法的工作原理及其数学推导过程，包括算法的导出和收敛性的证明，适合对EM算法感兴趣的读者。

首先，把使用的符号声明一下。
$\quad 各分量iid，即P(Y)=P(y_1,y_2,...,y_N）=\prod_{i=1}^{N}P(y_i)$
$Z : 隐变量$
$Θ:参数\Theta :参数$
$(Y, Z) : 完全数据$

我们知道，EM算法的迭代公式为 $Θt+1=argmaxΘ∫ZP(Z∣Y,Θt)logP(Y,Z∣Θ)dZ\Theta^{t+1}=argmax_\Theta\int_{Z}P(Z|Y,\Theta^{t})logP(Y,Z|\Theta)dZ$ ，现在依次推导其导出及收敛性。

1.导出

使用最大似然推导，我们的目的是使得 $logP(Y∣Θ)logP(Y|\Theta)$ 最大，故从这个角度出发。
$\begin{aligned} logP(Y|\Theta) & =logP(Y,Z|\Theta) - logP(Z|Y,\Theta) \\ 引入Q(Z)\neq0\qquad \qquad \qquad & = log\frac{P(Y,Z|\Theta)}{Q(Z)} - log\frac{P(Z|Y,\Theta)}{Q(Z)} \end{aligned}$
两边对 $Q (Z)$ 求期望:
$\begin{aligned} 左边 &=\int_{Z}Q(Z)logP(Y|\Theta)dZ\\ &=logP(Y|\Theta)\int_{Z}Q(Z)dZ\\ &=logP(Y|\Theta)\cdot1\\ &=logP(Y|\Theta)\\ 右边 &=\int_{Z}Q(Z)log\frac{P(Y,Z|\Theta)}{Q(Z)} dZ - \int_{Z}Q(Z)log\frac{P(Z|Y,\Theta)}{Q(Z)} dZ\\ &=ELBO + KL(Q(Z)||P(Z|Y,\Theta)) \end{aligned}$