EM算法与k-means及极大似然估计

最新推荐文章于 2020-03-11 22:27:15 发布

原创最新推荐文章于 2020-03-11 22:27:15 发布 · 743 阅读

CC 4.0 BY-SA版权

2 篇文章

订阅专栏

EM算法与k-means都是用于数据聚类的方法，k-means假设样本分布为高斯，而EM算法则可适应更多种分布，通过极大似然估计优化模型参数。

k-means算法

EM算法

输入

假设输入样本为：;

观测变量数据Y，隐变量数据Z，联合分布，条件分布;

流程

1) 选择初始的个簇中心;

2) 将样本标记为距离簇中心最近的簇：;

3) 更新簇中心：;

4) 重复2)，3)，直到满足终止条件。

(1)选择参数初值，开始迭代；

(2)E步：记为第次迭代参数的估计值，在第次迭代的步，计算，=

(3)M步：求使极大化的，确定第次迭代的参数的估计值，

(4)重复第(2)步和第(3)步，直到收敛。

k-means算法，能够将未标记的样本分成若干簇，但无法给出某个样本属于该簇的后验概率。细看以上流程，具有异曲同工之妙，均是选取初始值，取可能性比较大的标记，然后进行迭代。对于k-means算法来说，样本的分布默认是高斯分布。而EM算法可适用于其他分布，当然，前提是需要给出样本分布函数。

	极大似然估计	EM算法
区别	随机试验出现的结果时间对事件的发生是有利的。与EM算法的区别，可理解为一个分布的参数估计方法。	含隐变量的参数估计方法。可理解为多个分布的参数估计方法。
求解关键	似然函数取对数，求导	似然函数取对数，Jesson不等式，拉格朗日乘子法