k-Means算法是一种聚类算法,它是一种无监督学习算法,目的是将相似的对象归到同一个蔟中。蔟内的对象越相似,聚类的效果就越好。聚类和分类最大的不同在于,分类的目标事先已知,而聚类则不一样。其产生的结果和分类相同,而只是类别没有预先定义。
算法原理
设计的目的:使各个样本与所在簇的质心的均值的误差平方和达到最小(这也是评价K-means算法最后聚类效果的评价标准)。
步骤
- 创建k个点作为k个簇的起始质心(经常随机选择)。
- 分别计算剩下的元素到k个簇中心的相异度(距离),将这些元素分别划归到相异度最低的簇。
- 根据聚类结果,重新计算k个簇各自的中心,计算方法是取簇中所有元素各自维度的算术平均值。
- 将D中全部元素按照新的中心重新聚类。
- 重复第4步,直到聚类结果不再变化。
- 最后,输出聚类结果。
伪代码
创建k个点作为K个簇的起始质心(经常随机选择)
当任意一个点的蔟分配结果发生变化时(初始化为True)
对数据集中的每个数据点,重新分配质心
对每个质心
计算质心到数据点之间的距离
将数据点分配到距其最近的蔟
对每个蔟,计算蔟中所有点的均值并将均值作为新的质心
- 优点:容易实现
- 缺点:可能收敛到局部最小值,在大规模数据上收敛较慢
- 适合数据类型:数值型数据
import math
import numpy as np
import matplotlib.pyplot as plt
import random
def getEuclidean(point1, point2):
dimension = len(point1)
dist = 0.0
for i in range(dimension):
dist += (point1[i] - point2[i]) ** 2
return math.sqrt(dist)
def k_means(dataset, k, iteration):
# 初始化簇心向量
index = random.sample(list(range(len(dataset))), k)
vectors = []
for i in index:
vectors.append(dataset[i])
# 初始化标签
labels = []
for i in range(len(dataset)):
labels.append(-1)
# 根据迭代次数重复k-means聚类过程
while (iteration > 0):
# 初始化簇
C = []
for i in range(k):
C.append([])
for labelIndex, item in enumerate(dataset):
classIndex = -1
minDist = 1e6
for i, point in enumerate(vectors):
dist = getEuclidean(item, point)
if (dist < minDist):
classIndex = i
minDist = dist
C[classIndex].append(item)
labels[labelIndex] = classIndex
for i, cluster in enumerate(C):
clusterHeart = []
dimension = len(dataset[0])
for j in range(dimension):
clusterHeart.append(0)
for item in cluster:
for j, coordinate in enumerate(item):
clusterHeart[j] += coordinate / len(cluster)
vectors[i] = clusterHeart
iteration -= 1
return C, labels
dataset = np.random.rand(40,2)
C, labels = k_means(dataset, 3, 20)
colValue = ['r', 'y', 'g', 'b', 'c', 'k', 'm']
for i in range(len(C)):
coo_X = [] # x坐标列表
coo_Y = [] # y坐标列表
for j in range(len(C[i])):
coo_X.append(C[i][j][0])
coo_Y.append(C[i][j][1])
plt.scatter(coo_X, coo_Y, marker='x', color=colValue[i % len(colValue)], label=i)
# plt.legend(loc='upper right')
plt.show()
print(labels)
生成的结果如下图:
参考:
http://www.csuldw.com/2015/06/03/2015-06-03-ml-algorithm-K-means/
https://blog.youkuaiyun.com/caoIjun/article/details/81383192