EM算法及代码

最新推荐文章于 2023-12-22 12:33:43 发布

dreamweaverccc

最新推荐文章于 2023-12-22 12:33:43 发布

阅读量5.1k

点赞数 3

CC 4.0 BY-SA版权

文章标签： EM

本文链接：https://blog.youkuaiyun.com/dreamweaverccc/article/details/89173611

本文介绍了EM算法，即期望极大算法，用于处理含有隐变量的概率模型参数估计。算法包括E步（求期望）和M步（求极大）两个迭代阶段。通过消除隐变量，EM算法解决了传统极大似然估计的问题。文中还引用了PRML的内容，并提供了《统计学习方法》中相关习题的代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、算法简介。

EM算法全称为Expectation Maximization，即期望极大算法，是一种用于处理含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法是一种迭代算法，每一次迭代可分为两步：E步，求期望（Expectation）；M步，求极大（Maximization）。

二、算法步骤。

引用于PRML。

在这里插入图片描述

三、个人总结。

EM算法是求含有潜变量的模型参数的方法。因为传统的极大似然估计不能解决含有隐变量的模型，所以需要消除隐变量。这里我们采用求期望的方式去消除隐变量，是因为可以将似然函数表达式拆分为期望和KL散度的和。当KL散度为0时，期望与似然函数相等，最大化期望也是最大化似然函数。这类似于变分推断的理念。

附录：李航《统计学习方法》第9章习题第3题实现代码。（该代码的最终收敛结果取决于参数初始值的设置）

#  Statistical Learning Method Chapter 9 Exercise 9.3
#  Question description: Try to estimate 5 parameters of Gaussian Mixture Model with 2 components based on observed data: -67,-48,6,8,14,16,23,24,28,29,41,49,56,60,75

i

最低0.47元/天解锁文章