数据挖掘：Top 10 Algorithms in Data Mining(二)K-Means算法

最新推荐文章于 2020-09-09 10:33:21 发布

原创最新推荐文章于 2020-09-09 10:33:21 发布 · 2.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#数据挖掘

算法同时被 2 个专栏收录

12 篇文章

订阅专栏

数据挖掘

9 篇文章

订阅专栏

本文深入探讨了K-means和FCM聚类算法的原理、难点、伪代码以及复杂度分析。通过实例展示了这两种算法在聚类任务中的应用，并对比了它们的性能。此外，介绍了算法的实现方式，包括Matlab和开源项目Mahout的分布式实现。文章旨在为读者提供全面的聚类算法理解。

先引用IDMer整理的图初步了解下K-means

K-means也被称为C-means，因为它的目标是要找到c个均值向量u1,u2,……uc。除上面提到的用处，k-means还常用于加速其它算法的收敛。聚类算法主要有两类：硬聚类和软聚类（FCM）。K-means属于前者。

K-means的两大难点是确定c的数值和避免算法的抖动（不稳定性）。对这两个问题都有大量的针对性的研究。

算法的伪代码为：

Begin initialize n,c,u₁,u₂,……u_c
Do 按照最近邻u_i分类n个样本
重新计算u_i
Until u_i不再改变
Return u₁,u₂,……u_c
End

其复杂度为O（ndcT），d表示特征数量；T为迭代次数。实际应用中通常迭代次数都不会太多。

硬聚类k-means

在该算法中任意样本属于类别i的概率要么是1要么是0. 所以在计算过程中距离度量算法确定之后，只需要计算样本离哪类的聚类中心近就将该样本划分为哪类，即样本属于该类的概率为1，属于其它c-1类的概率都为0. 这样的规则使得计算简单。但最后的聚类结果容易出现局部最优。因此，在次基础上，模糊K-means被提出，我们通常我们称为FCM（Fuzzy C-Means）。

K-means聚类2维数据的迭代轨迹，图中用Voronoi网格标出分类结果。Voronoi单元中心即为聚类中心

软聚类FCM

在FCM中每个样本属于某类别的概率不是绝对的1或0，而是介于[0～1]之间的一个值。样本属于所有类别的概率和为1. 该样本在当前迭代中属于哪类的概率最大就将该样本划分到哪类中。

FCM算法伪代码：

begin initialize n,c,b, u₁,u₂,……u_c, P(w_i|x_j),i=1,2……c;j=1,2,……n
归一化, P(w_i|x_j)
do 重新计算u_i
重新计算P(w_i|x_j)
until u_i和P(w_i|x_j)变化很小
return u₁,u₂,……u_c
End

常用的结束条件：

u₁,u₂,……u_c的变化小于某个阈值
迭代次数T大于某个阈值。

由于对不熟悉的样本的收敛速度未知，通常两个条件都会设置。K-means通常也被归类为迭代优化算法。

归一化公式：

计算u_i公式：

计算P(w_i|x_j)公式：

FCM聚类的迭代轨迹

关于FCM与k-means 性能的比较参考：http://www.eurojournals.com/ejsr_46_3_02.pdf

作为较早的基本算法，目前k-means和FCM都有较多实现。常用工具多有对其的支持，网上源码也较多。以matlab中FCM函数为100个随机树分2类的例子：

data = rand(100, 2); [center,U,obj_fcn] = fcm(data, 2); plot(data(:,1), data(:,2),'o'); maxU = max(U); index1 = find(U(1,:) == maxU); index2 = find(U(2, :) == maxU); line(data(index1,1),data(index1, 2),'linestyle','none',... 'marker','*','color','g'); line(data(index2,1),data(index2, 2),'linestyle','none',... 'marker', '*','color','r');