手写Kmeans

最新推荐文章于 2024-08-25 23:06:56 发布

打工人王某

最新推荐文章于 2024-08-25 23:06:56 发布

阅读量2.1k

点赞数

文章标签： kmeans 聚类 python

本文链接：https://blog.youkuaiyun.com/weixin_45905371/article/details/121205293

版权

本文详细介绍了K-means聚类算法的实现过程，包括数据预处理、距离计算、质心初始化和更新，以及算法的优缺点。特别讨论了如何改进K-means，如K-means++和isodata算法，以应对K值选择、局部最优解和数据分布不均匀等问题。并通过实际案例验证算法效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

K-means聚类算法

1、聚类思想

所谓聚类算法是指将一堆没有标签的数据自动划分成几类的方法，属于无监督学习方法，这个方法要保证同一类的数据有相似的特征

2、导入所需的包

import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
%matplotlib inline

iris = pd.read_csv("iris.csv",header = None)
iris.head()

3、K-均值算法的python实现

根据K-均值算法的工作流程，我们写出伪代码：

创建k个点为初始质点（通常随机选择）
当任意一个点的簇分配结果发生改变时：
对数据集中的每个点：
对每个质心：
计算质心与数据点之间的距离
将数据点分配到距其最近的簇
对每个簇，计算簇中所有点的均值并将均值作为新的质心
直到簇不再发生改变或者达到最大迭代次数（自己设定）

伪代码中提到的“最近”在这里我们使用欧氏距离

3.1、构建一个计算距离的函数

统一量纲

如果数据中X整体都比较小，比如都是1到10之间的数，Y很大，比如都是1000以上的数，那么，在计算距离的时候Y起到的作用就比X大很多，X对于距离的影响几乎可以忽略，这也有问题。因此，如果K-Means聚类中选择欧几里德距离计算距离，数据集又出现了上面所述的情况，就一定要进行数据的标准化（normalization），即将数据按比例缩放，使之落入一个小的特定区间。(下面函数没有开平方以减少计算量）

def distEclud(arrA,arrB):
    d = arrA - arrB
    dist = np.sum(np.power(d,2),axis=1)
    return dist

3.2、编写自动生成随机质心的函数

在定义随机质心生成函数时，首先需要计算每列数值的范围，然后在该范围中随机生成指定个数的质心。
此处我们使用numpy.random.uniform()函数生成随机质心

"""
函数功能：随机生成k个质心
参数说明：
        dataSet：包含标签的数据集
        k:簇的个数
    返回：
        data_cent：k个质心
"""
def randCent(dataSet,k):
    n = dataSet.shape[1]
    data_min = dataSet.iloc[:,:n-1].min()
    data_max = dataSet.iloc[:,:n-1].max()
    data_cent = np.random.uniform(data_min,data_max,(k,n-1))
    return data_cent