EM算法总结

最新推荐文章于 2022-10-25 21:21:43 发布

原创最新推荐文章于 2022-10-25 21:21:43 发布 · 370 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #机器学习

EM算法是一种处理不完全数据的有效策略，常用于高斯混合模型和隐马尔科夫模型。算法包括E步（期望步）和M步（极大化步），通过迭代优化模型参数。E步中，计算隐藏变量的期望；M步则极大化似然函数更新参数。在混合高斯分布情况下，E步计算每个数据点属于各高斯分量的概率，M步更新高斯分量的参数，如均值和方差，直至参数收敛。

EM算法是一种优化迭代策略，最适合数据集不完全的情况，常用来预测高斯混合模型的参数，隐式马尔科夫，该算法分为E步（期望步）和M布（极大步）。基本思想是：先根据已经观测的数据，估计出模型的参数，然后使用这些参数，估计缺失的数据，将缺失的数据和已经观测的数据再重新估计参数，如此反复，直到收敛。

算法步骤：

（1）随机初始化模型参数 $\theta$ 的初值，设置最大迭代次数,输入观测数据X,联合分布p(x,z; $\theta$ ),条件分布p(z|x, $\theta$ )，这里z就是观测不到的数据，x是可以观测的数据。

（2）E步骤：求解 $Q_{i}(z_{i}) = p(z_{i}|x_{i},\theta _{j})$ ，如果是混合高斯分布，求解：

$E[z_{i,j}] = \tfrac{p(x=x_{i}|u=u_{i})}{p(x=x_{i})}=\tfrac{e^{-\tfrac{1}{2*\sigma ^{2}}*(x_{i}-x_{j})^{2}}}{\sum e^{-\tfrac{1}{2*\sigma ^{2}}*(x_{i}-x_{j})^{2}}}$