机器学习算法之四——聚类（一）

1 K-means算法介绍

    聚类是一种无监督学习，简单来说就是把相似的对象划分到同一个簇当中，对给定的数据集，算法首先给出一个初始的划分方法，以后通过反复迭代的方法改变划分，使得每一次改进之后的划分方案都较前一次更好。 K-means聚类也称为快速聚类法，在最小化误差函数的基础上将数据划分为预定的类数K。该算法原理简单并便于处理大量数据。

    在数据集中根据一定策略选择K个点作为每个簇的初始中心，然后观察剩余的数据，将数据划分到距离这K个点最近的簇中，也就是说将数据划分成K个簇完成一次划分，但形成的新簇并不一定是最好的划分，因此生成的新簇中，重新计算每个簇的中心点，然后在重新进行划分，直到每次划分的结果保持不变。在实际应用中往往经过很多次迭代仍然达不到每次划分结果保持不变，甚至因为数据的关系，根本就达不到这个终止条件，实际应用中往往采用变通的方法设置一个最大迭代次数，当达到最大迭代次数时，终止计算。K必须是事先确定的。

算法流程：

• 随机选择K个中心点
• 把每个数据点分配到离它最近的中心点；
• 重新计算每类中的点到该类中心点距离的平均值；
• 分配每个数据到它最近的中心点；
• 重复步骤3和4，直到所有的观测值不再被分配或是达到最大的迭代次数（R把10次作为默认迭代次数）。

优点：

原理简单
速度快
对大数据集有比较好的伸缩性

缺点：

需要指定聚类 数量K
对异常值敏感
对初始值敏感

2 运行实例

# -*- coding:utf-8 -*-
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

x = [2.273, 27.89, 30.519, 62.049, 29.263, 62.657, 75.735, 24.344, 17.667, 68.816, 69.076, 85.691]
y = [68.367, 83.127, 61.07, 69.343, 68.748, 90.094, 62.761, 43.816, 86.765, 76.874, 57.829, 88.114]
plt.plot(x, y, 'b.')
plt.show()

points = [[i,j] for i,j in zip(x,y)]#Python递推式，将x和y中的数据依次选出构成点集
y_pred = KMeans(n_clusters=2).fit_predict(points)#将数据聚为2类
print('聚类结果：', y_pred)#打印聚类的结果
plt.scatter(x, y, c=y_pred, marker='*')
plt.show()