机器学习-KMeans

最新推荐文章于 2024-09-23 10:25:22 发布
最新推荐文章于 2024-09-23 10:25:22 发布
阅读量401 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 Python 文章标签： 机器学习 K-均值 二分K-均值 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/pcb931126/article/details/86488878

一、 K-均值聚类算法

聚类是一种无监督学习，它将相似的对象归到同一个簇中。簇内对象越相似，聚类效果越好。K-Means算法就是其中的一种聚类算法。其实现代码如下：

#1.KMeans均值聚类算法
#2.伪代码
"""
       创建k个点作为起始质心（随机选择）
       当任意一个点的簇分配结果发生改变时
           对数据中的每个数据点
               对每个质心
                   计算质心与数据点之间的距离
                将数据点分配到距其最近的簇
            对每一个簇，计算簇中所有点的均值并将均值作为质心
"""
def KMeans(dataSet,k,distMeas=disEclud,createCent=randCent):
    """
    :param dataSet:      数据集
    :param k:            质心数目
    :param distMeas:     计算欧式距离函数
    :param createCent:   创建随机质心函数
    :return:
    """
    m=shape(dataSet)[0]
    clusterAssment=mat(zeros((m,2)))          #创建矩阵来存储每个点的簇分配结果，第一列为簇的索引值，第二例为误差
    centroids=createCent(dataSet,k)
    clusterChanged=True
    while clusterChanged:
        clusterChanged=False
        for i in range(m):
            minDist=inf;
            minIndex=-1
            for j in range(k):
                disJI=distMeas(centroids[j,:],dataSet[i,:]) #寻找质心，通过对每个点遍历所有质心并计算点到每个质心的距离来完成
                if disJI<minDist:
                    minDist=disJI
                    minIndex=j
            if clusterAssment[i,0]!=minIndex:               #如果任一点的簇分配结果发生改变，则更新标志位
                clusterChanged=True
            clusterAssment[i,:]=minIndex,minDist**2
        print(centroids)

        for cent in range(k):                               #遍历所有质心，并更新他们的取值
            ptsInClus=dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]
            centroids[cent,:]=mean(ptsInClus,axis=0)
    return centroids,clusterAssment

K-均值算法收敛但聚类效果较差的原因是：K-均值算法收敛到了局部最小，而非全局最小。

二、 二分K-均值聚类算法

为了克服K-均值算法收敛于局部最小，可以使用二分K-均值算法。该算法首先将所有点作为一个簇，然后将该簇一分为二，之后选择其中的一个簇继续进行划分，选择哪一簇划分取决于对其划分是否可以最大程度降低SSE(误差平方和)的值。上述过程基于SSE划分过程不断重复，直到得到用户指定的簇数目位置。实现代码如下：

#1.二分KMeans算法
#2.伪代码
"""
      将所有点看成一个簇
      当簇的数目小于k时
          对于每一个簇
              计算总误差
              在给定的簇上面进行KMeans聚类(k=2)
              计算将该簇一分为二之后的总误差
          选择使得误差最小的那个簇进行划分操作        
"""
def biKMeans(dataSet,k,distMeas=disEclud):
    m=shape(dataSet)[0]
    clusterAssment=mat(zeros((m,2)))             #创建矩阵用于保存分配结果以及平方误差
    centroid0=mean(dataSet,axis=0).tolist()[0]   #将所有点看成一个簇，求得其平均值的中心
    centList=[centroid0]                         #中心值列表，最开始只有一个簇，所以只有一个中心
    for j in range(m):
        clusterAssment[j,1]=distMeas(mat(centroid0),dataSet[j,:])**2  #求得一个簇时，循环求得所有点到中心点的误差，并放入矩阵中
    while(len(centList)<k):                      #判断是否分到想要的簇数
        lowestSSE=inf                            #初始最小误差平方和SSE为正无穷
        for i in range(len(centList)):           #循环每个簇
            ptsInCurrCluster=dataSet[nonzero(clusterAssment[:,0].A==i)[0],:]  #分类结果等于i数据集的提取出来
            centroidMat,splitClustAss=KMeans(ptsInCurrCluster,2,distMeas)     #使用KMeans进行二分类
            sseSplit=sum(splitClustAss[:,1])                                  #分类之后的总误差
            sseNotSplit=sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1])#分类之前不等于i的分类结果的总误差
            print("sseSplit,and notSplit:",sseSplit,sseNotSplit)
            if(sseSplit+sseNotSplit)<lowestSSE:                               #分类之后的总误差+分类之前的总误差小于最小误差
                bestCentToSplit=i                                             #分类i
                bestNewCents=centroidMat                                      #新分类点的中心坐标
                bestClusAss=splitClustAss.copy()                              #分类之后的结果以及平方误差
                bestClustSSE=sseNotSplit+sseSplit                             #分类之后的平方误差

        #更新簇的分配结果
        bestClusAss[nonzero(bestClusAss[:,0].A==1)[0],0]=len(centList)
        bestClusAss[nonzero(bestClusAss[:,0].A==0)[0],0]=bestCentToSplit

        print("the bestCentToSplit is:",bestCentToSplit)
        print("the len of bestClustAss is :",len(bestClusAss))
        centList[bestCentToSplit]=bestNewCents[0,:]                           #将新分配的坐标中心替换
        centList.append(bestNewCents[1,:])                                    #将第二个坐标中心加入cenList中
        clusterAssment[nonzero(clusterAssment[:,0].A==bestCentToSplit)[0],:]=bestClusAss
    return  centList,clusterAssment

三、 完整的实现代码


"""
1.机器学习-KMeans
2.姓名：pcb
3.日期：2019.01.14
"""

from numpy import *
import matplotlib.pyplot as plt

#加载数据
def loadDataSet(filename):
    dataMat=[]
    fr=open(filename)
    for line in fr.readlines():
        curLine=line.strip().split('\t')
        #fltLine=map(float,currLine)
        fltLine = []
        for i in curLine:
            fltLine.append(float(i))
        dataMat.append(fltLine)
    return dataMat

#计算两个向量的欧式距离
def disEclud(vecA,vecB):
    return sqrt(sum(power(vecA-vecB,2)))

#给定数据集，构建一个包含k个随机质心的集合
def randCent(dataSet,k):
    n=shape(dataSet)[1]
    centroids=mat(zeros((k,n)))
    for j in range(n):
        minJ=min(dataSet[:,j])
        rangeJ=float(max(dataSet[:,j])-minJ)
        centroids[:,j]=minJ+rangeJ*random.rand(k,1)
    return centroids

#1.KMeans均值聚类算法
#2.伪代码
"""
       创建k个点作为起始质心（随机选择）
       当任意一个点的簇分配结果发生改变时
           对数据中的每个数据点
               对每个质心
                   计算质心与数据点之间的距离
                将数据点分配到距其最近的簇
            对每一个簇，计算簇中所有点的均值并将均值作为质心
"""
def KMeans(dataSet,k,distMeas=disEclud,createCent=randCent):
    """
    :param dataSet:      数据集
    :param k:            质心数目
    :param distMeas:     计算欧式距离函数
    :param createCent:   创建随机质心函数
    :return:
    """
    m=shape(dataSet)[0]
    clusterAssment=mat(zeros((m,2)))          #创建矩阵来存储每个点的簇分配结果，第一列为簇的索引值，第二例为误差
    centroids=createCent(dataSet,k)
    clusterChanged=True
    while clusterChanged:
        clusterChanged=False
        for i in range(m):
            minDist=inf;
            minIndex=-1
            for j in range(k):
                disJI=distMeas(centroids[j,:],dataSet[i,:]) #寻找质心，通过对每个点遍历所有质心并计算点到每个质心的距离来完成
                if disJI<minDist:
                    minDist=disJI
                    minIndex=j
            if clusterAssment[i,0]!=minIndex:               #如果任一点的簇分配结果发生改变，则更新标志位
                clusterChanged=True
            clusterAssment[i,:]=minIndex,minDist**2
        print(centroids)

        for cent in range(k):                               #遍历所有质心，并更新他们的取值
            ptsInClus=dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]
            centroids[cent,:]=mean(ptsInClus,axis=0)
    return centroids,clusterAssment

#1.二分KMeans算法
#2.伪代码
"""
      将所有点看成一个簇
      当簇的数目小于k时
          对于每一个簇
              计算总误差
              在给定的簇上面进行KMeans聚类(k=2)
              计算将该簇一分为二之后的总误差
          选择使得误差最小的那个簇进行划分操作        
"""
def biKMeans(dataSet,k,distMeas=disEclud):
    m=shape(dataSet)[0]
    clusterAssment=mat(zeros((m,2)))             #创建矩阵用于保存分配结果以及平方误差
    centroid0=mean(dataSet,axis=0).tolist()[0]   #将所有点看成一个簇，求得其平均值的中心
    centList=[centroid0]                         #中心值列表，最开始只有一个簇，所以只有一个中心
    for j in range(m):
        clusterAssment[j,1]=distMeas(mat(centroid0),dataSet[j,:])**2  #求得一个簇时，循环求得所有点到中心点的误差，并放入矩阵中
    while(len(centList)<k):                      #判断是否分到想要的簇数
        lowestSSE=inf                            #初始最小误差平方和SSE为正无穷
        for i in range(len(centList)):           #循环每个簇
            ptsInCurrCluster=dataSet[nonzero(clusterAssment[:,0].A==i)[0],:]  #分类结果等于i数据集的提取出来
            centroidMat,splitClustAss=KMeans(ptsInCurrCluster,2,distMeas)     #使用KMeans进行二分类
            sseSplit=sum(splitClustAss[:,1])                                  #分类之后的总误差
            sseNotSplit=sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1])#分类之前不等于i的分类结果的总误差
            print("sseSplit,and notSplit:",sseSplit,sseNotSplit)
            if(sseSplit+sseNotSplit)<lowestSSE:                               #分类之后的总误差+分类之前的总误差小于最小误差
                bestCentToSplit=i                                             #分类i
                bestNewCents=centroidMat                                      #新分类点的中心坐标
                bestClusAss=splitClustAss.copy()                              #分类之后的结果以及平方误差
                bestClustSSE=sseNotSplit+sseSplit                             #分类之后的平方误差

        #更新簇的分配结果
        bestClusAss[nonzero(bestClusAss[:,0].A==1)[0],0]=len(centList)
        bestClusAss[nonzero(bestClusAss[:,0].A==0)[0],0]=bestCentToSplit

        print("the bestCentToSplit is:",bestCentToSplit)
        print("the len of bestClustAss is :",len(bestClusAss))
        centList[bestCentToSplit]=bestNewCents[0,:]                           #将新分配的坐标中心替换
        centList.append(bestNewCents[1,:])                                    #将第二个坐标中心加入cenList中
        clusterAssment[nonzero(clusterAssment[:,0].A==bestCentToSplit)[0],:]=bestClusAss
    return  centList,clusterAssment

def main():
# #1.--------KMeans----------------------------------
#     dataMat=mat(loadDataSet('testSet.txt'))
#     myCentroids,clustAssing=KMeans(dataMat,4)
# #--------------------------------------------------

#2----------二分KMeans算法---------------------------
    dataMat3=mat(loadDataSet('testSet3.txt'))
    centList,myNewAssments=biKMeans(dataMat3,3)
    print (centList)
#---------------------------------------------------
if __name__=='__main__':
    main()
机器学习（十四）：K均值聚类(kmeans)
全栈川川
08-03 981
机器学习中的k均值聚类，经典的聚类算法，教程包含原理以及实现案例。
机器学习算法——Kmeans
weixin_49717022的博客
08-17 1458
1.k-mean算法的原理 1、选取K个点做为初始聚集的簇心 2、分别计算每个样本点到K个簇核心的距离（这里的距离一般取欧氏距离或余弦距离)，找到离该点最近的簇核心，将它归属到对应的簇 3、所有点都归属到簇之后，M个点就分为了K个簇。之后重新计算每个簇的重心（平均距离中心)，将其定为新的“簇核心”; 4、反复迭代2-3步骤，直到达到某个中止条件。 直到质心不再改变 2.聚类算法 聚类算法：是一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。 聚类算法与分类算法最大的区别是：聚类算法是无监督的
机器学习-kmeans
A8186的博客
02-11 814
K-means是一种经典的无监督学习算法，用于对数据进行聚类。K-means算法将数据集视为具有n个特征的n维空间，并尝试通过最小化簇内平方误差的总和来将数据点划分为簇。本文将介绍K-means算法的原理、实现和应用。K-means是一种无监督学习算法，用于对数据进行聚类。该算法将数据集分为K个簇，每个簇包含最接近其质心的数据点。K-means算法将数据集视为具有n个特征的n维空间，并尝试通过最小化簇内平方误差的总和来将数据点划分为簇。
机器学习：K-means算法（内有精彩动图）
纸上得来终觉浅
08-27 3232
K-means算法
机器学习——K-Means聚类
热门推荐
T940842933的博客
08-01 1万+
K-Means 算法是一种无监督的聚类算法，其核心思想是：对于给定的样本集，按照样本点之间的距离大小，将样本集划分为K个簇，并让簇内的点尽量紧凑，簇间的点尽量分开算法流程图如下：K-Means算法流程如图，以为例：我们需要将图(a) 中的样本点划分为两类，则K-means聚类过程如下：第 1 步：从M个数据对象中任意选择2个对象作为初始聚类中心，如图(b) 所示。
《机器学习》K-means 聚类 原理、参数解析、案例实现
wx_AHao1004Y的博客
08-28 6962
K-means是一种常用的无监督学习算法，用于将数据集中的对象划分为k个不同的组或簇。该算法的目标是最小化每个数据点与所属簇的质心之间的平方欧氏距离之和。
机器学习-Kmeans-决策树-神经网络NN算法.zip
08-24
深入探讨了机器学习中的三种关键算法：K-means聚类算法、决策树和神经网络（NN）。K-means算法专注于数据的无监督学习，用于将数据点分组成K个簇。决策树是一种监督学习算法，通过学习简单的决策规则从数据特征中...
机器学习-kmeans-物以类聚-视频课程
06-16
对聚类算法kmeans有进一步的认识，掌握使用kmeans模型来进行预测，并且随带复习数学知识。
机器学习-kmeans-调包和手写源代码
guguo666的博客
11-18 1025
聚类是一个将数据集中在某些方面相似的数据成员进行分类组织的过程，聚类就是一种发现这种内在结构的技术，聚类技术经常被称为无监督学习。k均值聚类是最著名的划分聚类算法，由于简洁和效率使得他成为所有聚类算法中最广泛使用的。给定一个数据点集合和需要的聚类数目k，k由用户指定，k均值算法根据某个距离函数反复把数据分入k个聚类中。KMeans算法通过试着将样本分离到 个方差相等的组中来对数据进行聚类，从而最小化目标函数 （见下文）。该算法要求指定集群的数量。
机器学习－上海大学－ｋｍｅａｎｓ
05-09
上海大学-机器学习-计算机专业课 1.实验内容 通过对给定数据进行聚类分析来了解K-means算法。 2.实验目标 通过本实验掌握K-means聚类算法 实验准备 点击屏幕右上方的下载实验数据模块，选择下载KmeansData.txt到指定...
机器学习-KMeans算法案例
J_kaiz的博客
12-15 2364
1.某电信运营商获得若干用户通讯行为数据（“data_02”），有字段“通货次数”， ”短信次数”,”即时通讯次数”,”网页浏览次数”，使用 KMeans 算法，对这部分客户群体进行合理分群。 import numpy as np,pandas as pd import matplotlib.pyplot as plt from sklearn.cluster import KMeans fro...
机器学习K-means算法
11-28
非常完美的K-means算法代码，利用聚类思想进行分类，是机器学习中的典型分类算法。
机器学习(K-means聚类原理以及用法)
Mogul的博客
06-11 651
k-means 属于非监督学习(unsupervised learning) 聚类：把数据分成多少个类别 1.聚类的过程 例如： k等于几就相当于分几类 1、随机设置K个特征空间内的点作为初始的聚类中心 2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类 中心点作为标记类别 3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平 均值）...
机器学习之K-means原理详解、公式推导、简单实例（python实现，sklearn调包）
如果没有躺赢的命，那就站起来奔跑，你的努力一定会对得起这一路的颠沛流离。
02-10 5926
主要内容分为理论推导和代码实现两个部分。 理论推导包括聚类介绍、常见距离介绍、KMeans算法模拟三块。 代码实现包括逻辑回归代码实现；python实现和sklearn包 2种方法完成Kmeans聚类任务。
机器学习实战之KMeans
Jack‘s bolg
07-08 2068
from numpy import * def loadDataSet(fileName): dataMat = [] fr = open(fileName) for line in fr.readlines(): curLine = line.strip().split('\t') fltLine = map(float,curLine)
【机器学习】K-Means算法详解：从原理到实践
鑫宝的博客
06-25 3310
K-Means算法以其简单高效的特点，在众多领域展现了强大的实用价值。然而，针对其存在的局限性，研究人员不断提出改进方法，如二分K-Means、谱聚类等，以适应更复杂的数据结构和应用场景。掌握K-Means不仅是数据科学基础的重要组成部分，也是进一步探索高级聚类技术的基石。希望本文能为读者理解并应用K-Means算法提供有益的指导。
机器学习之K-means算法
年少的勇气已经用完，剩下的就是三思而后行
06-02 1504
聚类与分类算法的最大区别在于, 分类的目标类别已知(监督学习), 而聚类的目标类别是未知的(无监督学习)。K-Means算法(K-均值算法)就是无监督算法之一，主要用于样本的聚类。其思想很简单，对于给定的样本集，按照样本与聚类中心之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧密的连接在一起,让簇间的距离尽量的大。上图a表达了初始的数据集，假设k=2。在图b中，我们随机选择了两个k类所对应的类别质心，即图中的红色质心和蓝色质心，然后分别求样本中所有点到这两个质心的距离，并标记每个样本的类别为和该样本距
详解机器学习经典模型(原理及应用)——K-Means
学习与分享人工智能技术
09-23 1676
本文详细介绍了K-Means算法的概念、原理和实现，可用作面试或业务参考。
机器学习(九)——Kmeans聚类
hhhcbw的博客，欢迎各位来访
12-06 9576
k均值聚类算法（k-means clustering algorithm）是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。 Kmeans介绍 算法接受参数k，然后将事先输入的n个数据划分为k个聚类以便使得所获得的聚类满足同一聚类中的对象相似度高，而不同聚类中的相似度低。以空间中k个中心进行聚类，对最靠近他们的对象归类，通过迭代的方法，逐次更新聚类中心的值，直至得到最好的聚类结果。 算法描述：.
ceemdan-kmeans
最新发布
03-08
### CEEMDAN KMeans 算法实现及应用 #### CEEMDAN 和 KMeans 的结合原理 CEEMDAN (Complete Ensemble Empirical Mode Decomposition with Adaptive Noise) 是一种信号处理技术，能够有效地将复杂的时间序列分解成多个固有模式函数(IMFs)[^1]。K-means 聚类算法则是一种无监督机器学习方法，旨在将数据集划分成若干个簇，使每个数据点到其所在簇中心的距离最小化。 当这两种技术结合起来时，首先利用 CEEMDAN 对原始时间序列进行多尺度分解，获得一系列 IMF 分量；接着提取各 IMF 组件的能量、熵、频率等特征参数，并以此作为输入喂给 K-means 算法来进行分类。这种组合方式有助于识别并分离出不同性质的波动成分，从而为进一步的数据分析提供了便利条件。 #### 实现过程中的关键技术要点 为了更好地理解如何具体实施这一流程，在此给出一个简化版 Python 伪代码框架： ```python import numpy as np from pyhht.emd import EMD from sklearn.cluster import KMeans def ceemdan_kmeans(data, num_imfs=5): """ 使用 CEEMDAN 和 KMeans 处理一维时间序列 参数: data -- 输入的一维数组形式的时间序列 num_imfs -- 需要计算的最大 IMFs 数目，默认为 5 返回值: labels -- 各 IMF 所属类别标签列表 centers -- 各类别对应的质心向量矩阵 """ # Step 1: Perform CEEMDAN decomposition on the input signal emd = EMD() imfs = emd.ceemdan(data) # Extract features from each IMF component feature_vectors = [] for i in range(num_imfs): energy = sum(imfs[i]**2) entropy = -np.sum((imfs[i]/energy)*np.log(abs(imfs[i])/energy)) freq = abs(np.fft.rfft(imfs[i])).mean() feature_vector = [energy, entropy, freq] feature_vectors.append(feature_vector) # Convert list of lists into a NumPy array X = np.array(feature_vectors).reshape(-1, len(feature_vectors[0])) # Apply k-means clustering algorithm to classify IMFs based on their extracted features model = KMeans(n_clusters=num_imfs//2+1, random_state=42) labels = model.fit_predict(X) centers = model.cluster_centers_ return labels, centers ``` 上述代码展示了怎样运用 `pyhht` 库执行 CEEMDAN 分解操作以及调用 scikit-learn 中内置的 KMeans 函数完成聚类任务。需要注意的是这只是一个非常基础的例子，实际应用场景下可能还需要考虑更多细节因素，比如预处理步骤的选择、模型超参数调整等问题。 #### 应用实例说明 在一个典型的应用场景中，假设有一个金融市场的股票价格走势记录下来形成了一条连续变化的时间序列。通过 CEEMDAN-KMeans 方法对其进行分析后发现某些特定类型的波动（如短期快速涨跌）往往集中在某一类别的IMF之中，而长期缓慢上升的趋势则主要体现在另一些类别里。因此可以根据这样的规律采取针对性策略——对于前者可设置止损位防止损失扩大；而对于后者，则可以在适当时候增加仓位获取更大收益。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值