k均值例子 数据挖掘_十大数据挖掘算法通俗介绍之 K-means 算法

今天我们接着介绍十大数据挖掘算法重点一种： K-means 算法

K-means 是一种非常典型直接的基于距离的聚类算法，他的核心思想就是把一堆离散的点分为K组。

抛弃理论化的描述，我们通过一个简单的例子来看一下算法的工作过程：

Table-0  k-means 算法的一个例子

问题： 图中有A,B,C,D,E 5个点，而我们希望把他们聚成2个小圈子(k=2).

首先，我们随机的生成2个中心点的坐标(如第一张图所示)，然后让ABCDE逐个投奔离它最近的中心点

在图中我们看到，A,B离右上的中心点比较近，C,D,E离另一个中心点比较近

OK,第一次聚类就完成了，当前的结果为[A,B] 和[C,D,E]

接下来，重新计算中心点，取为当前组的中心(如Table-0 图三所示)

最后，重复以上过程，直到结果集不再变化

是不是很直观呢？！

明白了算法的工作过程，那么实现也就简单啦。

附上一段python代码，可读性应该是非常强滴

import randomdef kcluster(rows,distance,k=4): #K-means 算法实现，distance指定距离计算方法，此处省略 # 获取所有点的最大最小值 ranges=[(min([row[i] for row in rows]),max([row[i] for row in rows])) for i in range(len(rows[0]))] # 随机创建K个中心值 clusters=[[random.random( )*(ranges[i][1]-ranges[i][0])+ranges[i][0] for i in range(len(rows[0]))] for j in range(k)] lastmatches=None for t in range(100): #利用循环不断优化结果，这里设定了最大循环次数100次 print 'Iteration %d' % t bestmatches=[[] for i in range(k)] # 对每一行的点，确定其离哪一个中心点最近 for j in range(len(rows)): row=rows[j] bestmatch=0 #记录匹配结果 for i in range(k): d=distance(clusters[i],row) if d0: for rowid in bestmatches[i]: for m in range(len(rows[rowid])): avgs[m]+=rows[rowid][m] #对每列加总 for j in range(len(avgs)): avgs[j]/=len(bestmatches[i]) #取平均 clusters[i]=avgs return bestmatches

P.S.

DISTANCE 的计算是可定制化的，既可以按照空间坐标距离进行计算，可以根据问题的实际情况来自行设计。常见的距离算法有Euclidean，Pearson,Minkowski 等

优缺点：

优点：本算法确定的K 个划分到达平方误差最小。当聚类是密集的，且类与类之间区别明显时，效果较好。对于处理大数据集，这个算法是相对可伸缩和高效的，计算的复杂度为 O(NKt)，其中N是数据对象的数目，t是迭代的次数。一般来说，K<

缺点：

1.  K值需事先给定

2. 初始点的选择对划分结果有影响，一旦初始值选择的不好，可能无法得到有效的聚类结果。 因此在许多应用中采用GA遗传算法来初始化

3. 算法由于不断迭代，且每次均需重新计算所有点距中心的位置，所以时间复杂度较高，对大样本数据尤为严重。在实际应用中，可以附加一定的相似性判断准则来去掉聚类中心的侯选集

作者: Daniel Ma 

( 转载请注明出处)

欢迎加入我爱机器学习QQ14群：336582044

微信扫一扫，关注我爱机器学习公众号