K-Means算法介绍

参考文章：

K-Means介绍

聚类属于无监督学习，回归、朴素贝叶斯、SVM等都是有类别标签y的，也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定y，只有特征x，比如假设宇宙中的星星可以表示成三维空间中的点集(x,y,z)。聚类的目的是找到每个样本x潜在的类别y，并将同类别y的样本x放在一起。比如上面的星星，聚类后结果是一个个星团，星团里面的点相互距离比较近，星团间的星星距离就比较远了。

K-means属于无监督学习方法。

K表示类别数，Means表示均值，K一般由人工来指定，或通过层次聚类(Hierarchical Clustering)的方法获得数据的类别数量作为选择K值的参考。

选择较大的K可以降低数据的误差，但会增加过拟合的风险。

K-mean算法步骤

第一步：
随机选取K个初始质心
第二步：
分别计算所有样本到这K个质心的距离
第三步：
如果样本离质心Si最近，那么这个样本属于Si点群；如果到多个质心的距离相等，则可划分到任意组中
第四步：
按距离对所有样本分完组之后，计算每个组的均值（最简单的方法就是求样本每个维度的平均值），作为新的质心
第五步：
重复步骤二、三、四，直到新的质心和原质心相等，算法结束。

距离的度量方法

常用的距离度量方法包括：
欧几里得距离： 欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。
余弦相似度： 余弦相似度衡量的是2个向量间的夹角大小，通过夹角的余弦值表示结果。
两者都是评定个体间差异的大小的。欧几里得距离度量会受指标不同单位刻度的影响，所以一般需要先进行标准化（归一化），同时距离越大，个体间差异越大；空间向量余弦夹角的相似度度量不会受指标刻度的影响，余弦值落于区间[-1,1]，值越大，差异越小。但是针对具体应用，什么情况下使用欧氏距离，什么情况下使用余弦相似度？

从几何意义上来说，n维向量空间的一条线段作为底边和原点组成的三角形，其顶角大小是不确定的。也就是说对于两条空间向量，即使两点距离一定，他们的夹角余弦值也可以随意变化。感性的认识，当两用户评分趋势一致时，但是评分值差距很大，余弦相似度倾向给出更优解。举个极端的例子，两用户只对两件商品评分，向量分别为(3,3)和(5,5)，这两位用户的认知其实是一样的，但是欧式距离给出的解显然没有余弦值合理。

总结

优点：k-means算法是聚类问题的经典算法，该算法简单快速。对于大数据量的数据，有相对较高的算法效率，它的伸缩性很高，常常以局部最优来结束算法。当簇是密集的，圆形的，团状的，而且簇与簇之前的区别明显时，它的聚类效果较好。

缺点：要求用户必须事先给出要生成的簇的数目k，这就好比世上先有鸡还是先有蛋的问题，这也是此算法无法避免的缺点。此算法对于初始值很敏感，对于不同的初始值，聚类的结果往往不同。对于噪声数据和孤立点数据非常敏感，少量的该数据能够对平均值产生巨大的影响。