机器学习-聚类(K-Means)

k-means聚类算法 ( 如有问题, 欢迎指正~) k-means算法是一种典型的基于距离的算法, 采用距离作为相似性的评价标准. 算法思想 : 对于给定的样本集, 根据样本之间的距离大小, 将样本划分为k个簇 算法步骤 :  首先要注意的是k值的选择, 一般来说, 是根据经验来确定一个合适的k值, 当没有经验时, 就通过交叉验证(CrossValidation)来确定. 交叉验证是在给定的样本空间中, 拿出大... 阅读详情

K-Means算法是无监督的聚类算法,它实现起来比较简单,聚类效果也不错,因此应用很广泛。K-Means算法有大量的变体,本文就从最传统的K-Means算法讲起,在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-Means算法和大数据情况下的优化Mini Batch K-Means算法。

  1. K-Means原理初探
     K-Means算法的思想很简单,对于给定的样本集,按照样本之间的距离大小,将样本集划分为K个簇。让簇内的点尽量紧密的连在一起,而让簇间的距离尽量的大。
     如果用数据表达式表示,假设簇划分为 (C1,C2,...Ck) ,则我们的目标是最小化平方误差E:

    E=∑i=1k∑x∈Ci||x−μi||22

    其中 μi 是簇 Ci 的均值向量,有时也称为质心,表达式为:
    μi=1|Ci|∑x∈Cix

    如果我们想直接求上式的最小值并不容易,这是一个NP难的问题,因此只能采用启发式的迭代方法。
    K-Means采用的启发式方式很简单,用下面一组图就可以形象的描述。
        这里写图片描述
        
    上图a表达了初始的数据集,假设k=2。在图b中,我们随机选择了两个k类所对应的类别质心,即图中的红色质心和蓝色质心,然后分别求样本中所有点到这两个质心的距离,并标记每个样本的类别为和该样本距离最小的质心的类别,如图c所示,经过计算样本和红色质心和蓝色质心的距离,我们得到了所有样本点的第一轮迭代后的类别。此时我们对我们当前标记为红色和蓝色的点分别求其新的质心,如图4所示,新的红色质心和蓝色质心的位置已经发生了变动。图e和图f重复了我们在图c和图d的过程,即将所有点的类别标记为距离最近的质心的类别并求新的质心。最终我们得到的两个类别如图f。

    当然在实际K-Mean算法中,我们一般会多次运行图c和图d,才能达到最终的比较优的类别。

  2. 传统K-Means算法流程
    在上一节我们对K-Means的原理做了初步的探讨,这里我们对K-Means的算法做一个总结。

    首先我们看看K-Means算法的一些要点。
        1)对于K-Means算法,首先要注意的是k值的选择,一般来说,我们会根据对数据的先验经验选择一个合适的k值,如果没有什么先验知识,则可以通过交叉验证选择一个合适的k值。
        2)在确定了k的个数后,我们需要选择k个初始化的质心,就像上图b中的随机质心。由于我们是启发式方法,k个初始化的质心的位置选择对最后的聚类结果和运行时间都有很大的影响,因此需要选择合适的k个质心,最好这些质心不能太近。
    

    好了,现在我们来总结下传统的K-Means算法流程。 

    输入是样本集 D={x1,x2,...xm} ,聚类的簇树k,最大迭代次数N

    输出是簇划分 C={C1,C2,...Ck}  

    1) 从数据集D中随机选择k个样本作为初始的k个质心向量: {μ1,μ2,...,μk}

    2)对于n=1,2,…,N

    a) 将簇划分C初始化为 Ct=∅t=1,2...k

    b) 对于i=1,2…m,计算样本 xi 和各个质心向量 μj(j=1,2,...k) 的距离: dij=||xi−μj||22 ,将 xi 标记最小的为 dij 所对应的类别 λi 。此时更新 Cλi=Cλi∪{xi}

          c) 对于j=1,2,…,k,对 Cj 中所有的样本点重新计算新的质心 μj=1|Cj|∑x∈Cjx

    e) 如果所有的k个质心向量都没有发生变化,则转到步骤3)

    3) 输出簇划分 C={C1,C2,...Ck}

  3. K-Means初始化优化K-Means++
    在上节我们提到,k个初始化的质心的位置选择对最后的聚类结果和运行时间都有很大的影响,因此需要选择合适的k个质心。如果仅仅是完全随机的选择,有可能导致算法收敛很慢。K-Means++算法就是对K-Means随机初始化质心的方法的优化。
    K-Means++的对于初始化质心的优化策略也很简单,如下:
        a) 从输入的数据点集合中随机选择一个点作为第一个聚类中心 μ1
        b) 对于数据集中的每一个点xixi,计算它与已选择的聚类中心中最近聚类中心的距离
    D(x)=argmin∑i=0k=selected||xi−μr||22
        
        c) 选择一个新的数据点作为新的聚类中心,选择的原则是:D(x)较大的点,被选取作为聚类中心的概率较大
        d) 重复b和c直到选择出k个聚类质心
        e) 利用这k个质心来作为初始化质心去运行标准的K-Means算法
        (内涵:就是尽量选择更分散的点来作为初始的聚类中心)
  4. K-Means距离计算优化elkan K-Means
    在传统的K-Means算法中,我们在每轮迭代时,要计算所有的样本点到所有的质心的距离,这样会比较的耗时。那么,对于距离的计算有没有能够简化的地方呢?elkan K-Means算法就是从这块入手加以改进。它的目标是减少不必要的距离的计算。那么哪些距离不需要计算呢?

    elkan K-Means利用了两边之和大于等于第三边,以及两边之差小于第三边的三角形性质,来减少距离的计算。

    第一种规律是对于一个样本点 x 和两个质心μ1, μ2 。如果我们预先计算出了这两个质心之间的距离 D(j1,j2) ,则如果计算发现 2D(x,j1)≤D(j1,j2) ,我们立即就可以知道 D(x,j1)≤D(x,j2) 。此时我们不需要再计算 D(x,j2) ,也就是说省了一步距离计算。

    第二种规律是对于一个样本点 x 和两个质心μ1, μ2 。我们可以得到

    D(x,j2)≥max{0,D(x,j1)−D(j1,j2)}

    这个从三角形的性质也很容易得到。

    利用上边的两个规律,elkan K-Means比起传统的K-Means迭代速度有很大的提高。但是如果我们的样本的特征是稀疏的,有缺失值的话,这个方法就不使用了,此时某些距离无法计算,则不能使用该算法。

  5. 大样本优化Mini Batch K-Means

    在统的K-Means算法中,要计算所有的样本点到所有的质心的距离。如果样本量非常大,比如达到10万以上,特征有100以上,此时用传统的K-Means算法非常的耗时,就算加上elkan K-Means优化也依旧。在大数据时代,这样的场景越来越多。此时Mini Batch K-Means应运而生。

    顾名思义,Mini Batch,也就是用样本集中的一部分的样本来做传统的K-Means,这样可以避免样本量太大时的计算难题,算法收敛速度大大加快。当然此时的代价就是我们的聚类的精确度也会有一些降低。一般来说这个降低的幅度在可以接受的范围之内。

    在Mini Batch K-Means中,我们会选择一个合适的批样本大小batch size,我们仅仅用batch size个样本来做K-Means聚类。那么这batch size个样本怎么来的?一般是通过无放回的随机采样得到的。

    为了增加算法的准确性,我们一般会多跑几次Mini Batch K-Means算法,用得到不同的随机采样集来得到聚类簇,选择其中最优的聚类簇。

  6. K-Means与KNN
    初学者很容易把K-Means和KNN搞混,两者其实差别还是很大的。

    K-Means是无监督学习的聚类算法,没有样本输出;而KNN是监督学习的分类算法,有对应的类别输出。KNN基本不需要训练,对测试集里面的点,只需要找到在训练集中最近的k个点,用这最近的k个点的类别来决定测试点的类别。而K-Means则有明显的训练过程,找到k个类别的最佳质心,从而决定样本的簇类别。

    当然,两者也有一些相似点,两个算法都包含一个过程,即找出和某一个点最近的点。两者都利用了最近邻(nearest neighbors)的思想。

  7. K-Means小结
    K-Means是个简单实用的聚类算法,这里对K-Means的优缺点做一个总结。

        K-Means的主要优点有:

        1)原理比较简单,实现也是很容易,收敛速度快。

        2)聚类效果较优。

        3)算法的可解释度比较强。

        4)主要需要调参的参数仅仅是簇数k。
        

        K-Means的主要缺点有:

        1)K值的选取不好把握

        2)对于不是凸的数据集比较难收敛

        3)如果各隐含类别的数据不平衡,比如各隐含类别的数据量严重失衡,或者各隐含类别的方差不同,则聚类效果不佳。

        4) 采用迭代方法,得到的结果只是局部最优。

        5) 对噪音和异常点比较的敏感。
        
    转自刘建平Pinard
    加上自己的一些理解。

人工智能--机器学习方法 分类问题 1、knn算法 过程: 1. 准备数据,对数据进行预处理 2. 选用合适的数据结构存储训练数据和测试元组 3. 设定参数,如k 4.维护一个大小为k的的按距离由大到小的优先级队列,用于存储最近邻训练元组。随机从训练元组中选取k个元组作为初始的最近邻元组,分别计算测试元组到这k个元组的距离,将训练元组标号和距离存入优先级队列 5. 遍历训练元组集,计算当前训练元组与测试元组的距离,将所得距离L 与优先级队列中的最大距离Lmax 6. 进行比较。若L>=Lmax,则舍弃该元组,遍历下一. 阅读详情

相关推荐

机器学习中的 K-means 聚类

机器学习中的 K-means 聚类

axecute的博客 1369

K-means聚类及其验证

给定D维空间上的数据集,并不知道这些数据集所对应的类型和标号,通过聚类方法将这些数据集划分成K类。K-means聚类是一种无监督模式的学习。 聚类的原则就是使准则函数最小: 聚类的验证有多种方式,通常较通用的应该一定都会有Entropy 熵 和 Accuracy, (Accuracy 里可以包含了precision, recall, f-measure.)假

lynne233 8164

机器学习——聚类算法k-means

机器学习——聚类算法k-means 常见的聚类算法,k-means算法(k-均值算法)由簇中样本的平均值来代表整个簇。 文章目录机器学习——聚类算法k-means聚类分析概述一、k-means背景?二、k-means算法思想1.k-means聚类算法练习-12.算法练习-1代码实现k-means总结 聚类分析概述 简单地描述, 聚类(Clustering)是将数据集划分为若干相似对象组成的多个组(group)或簇(cluster)的过程,使得 同一组中对象间的相似 度最大化,不同组中对象间的相似度最小

weixin_45936137的博客 2257

一文读懂K-Means原理与Python实现

在本文中,你将学习到K-means算法的数学原理,作者会以尼日利亚音乐数据集为案例。带你了解了如何通过可视化的方式发现数据中潜在的特征。最后对训练好的K-means模型进行评估。

极限突破者的博客 1万+

机器学习:K-means聚类算法

机器学习:K-means聚类算法 K-means(K均值)是基于数据划分的无监督聚类算法,是图像分割和数据挖掘领域常用的算法。 (一) K-means算法的基本原理 聚类算法可以理解为无监督的分类方法,即样本集预先不知所属类别或标签,需要根据样本之间的距离或相识度自动进行分类。聚类算法可以分为基于划分的方法、基于联通性的方法、基于密度的算法、基于概率分布模型的算法等,K-means属于基于划分的聚...

qq_40872511的博客 1357

K-means算法详解及Python实现

本文详细介绍了K-means算法的原理,并提供了使用Python实现K-means算法的代码。通过K-means算法,我们可以将一组数据划分为K个互不重叠的簇,有助于数据的聚类和分析。聚类中心是一个K行2列的数组,每行表示一个聚类中心的坐标。K-means算法是一种常用的聚类算法,它能够将一组数据划分为K个不同的簇。本文将详细介绍K-means算法的原理,并提供使用Python编写的实现代码。K-means算法的目标是将数据集划分为K个互不重叠的簇,使得簇内的数据点尽可能相似,而簇间的数据点尽可能不同。

HackNebulaZ的博客 246

【机器学习】K均值聚类(K-Means)_吴恩达ML

声明:本文基于在校课程及吴恩达ML教程,代码参考自多份博客(已在参考链接中表明),如需转载请标明出处。 源代码、实验数据、实验指导书: https://pan.baidu.com/s/1yTTI0_w2bZ7o8uuxravLyA 提取码: spbp 一、算法描述 K-均值是最普及的聚类算法。 在非监督学习中,数据没有附带任何标签。也就是说,在非监督学习中,将一系列无标签的训练数据,输入到一个算法...

Krone_的博客 884

机器学习聚类模型:K-means聚类

机器学习聚类模型:K-means聚类;手写k-means聚类算法;K-means质心更新过程;手肘法计算K-means的K值;轮廓系数法计算K-means的K值

天涯雨的博客 1438

【机器学习】聚类(k-means)

在“无监督学习”任务中研究最多、应用最广目标:将数据样本划分为若干个通常不相交的“簇” (cluster) 既可以作为一个单独过程(用于找寻数据内在的分布结构) 也可作为分类等其他学习任务的前驱过程在 K-Means 中,每个数据点都会被分配到离它最近的簇(簇的中心称为质心)。因此,我们需要计算每个点到 kkk 个质心的距离,并选出最小的那个。是直线距离,最简单的两点之间距离:曼哈顿距离表示“拐弯的距离”,就像走方格街道那样,不能直接穿越。曼哈顿距离只关心在 x 和 y方向上走了多远,把绝对值加起来就行

学习中 1078

【机器学习-14】K-means聚类算法:原理、应用与优化

在众多聚类算法中,K-means算法因其简单高效而备受青睐。K-means算法的基本思想是:通过迭代的方式,将数据划分为K个不同的簇,并使得每个数据点与其所属簇的质心(或称为中心点、均值点)之间的距离之和最小。具体来说,K-means算法的执行过程通常包括以下几个步骤:首先,随机选择K个数据点作为初始的簇质心;然后,根据每个数据点与各个簇质心的距离,将其分配给最近的簇;接着,重新计算每个簇的质心,即取簇内所有数据点的平均值作为新的质心;

qq_38614074的博客 10万+

四足机器人如何用对抗运动先验(AMP)实现复杂地形行走?Unitree Go1实战解析

本文深入解析了四足机器人Unitree Go1如何通过对抗运动先验(AMP)算法实现复杂地形行走。AMP结合模仿学习与对抗训练,使机器人仅凭本体感知就能适应未知地形。文章详细介绍了AMP的核心架构、仿真训练工程实践以及在Unitree Go1上的部署优化方案,展示了其在极端地形下的卓越性能表现。

weixin_29050513的博客 330

机器学习—K-means聚类、密度聚类、层次聚类理论与实战

文章目录引言一、K-means聚类1.算法原理2.算法模型常用参数、属性、方法介绍3.算法实战二、密度聚类—DBSCAN1.算法原理2. 算法参数、属性、方法介绍3.算法实战三、层次聚类1.算法原理2.算法参数、属性、方法介绍3.算法实战四、总结 引言   聚类是机器学习算法中“新算法”出现最多、最快的领域。一个重要的原因是聚类不存在客观标准。下面我们分别介绍K-means聚类、DBSCAN算法(密度聚类)、AgglomerativeClustering算法(层次聚类),GMM算法(高斯混合模型)。 一、K

柳杰的博客 3374

【算法设计与分析】期末复习题(超详细)

刚刚整理了一下电脑的文件,发现了这份上学期的算法设计与分析期末复习题,有需要的文后自取。

a1234567822的博客 6617

机器学习——K-means聚类

无监督学习处理​​没有预先标记​​的数据集,目标是:发现数据中的​​隐藏模式​​识别​​内在结构​​提取​​有意义特征​​。

qq1851417332的博客 1423

NDVI空间分布变化Slope趋势分析与F检验(自用)

1.NDVI数据预处理2.一元线性回归分析3.Slope趋势分析与F检验

什么都学亿点点的博客 9020

探索LLM世界:新手小白的学习路线图

通过系统的学习和实践,新手小白也能逐步掌握LLM的核心技术。掌握LLM不仅能提升个人技术水平,还能为职业发展带来广阔的前景。未来,随着技术的不断进步,LLM将在更多领域发挥重要作用,成为推动科技进步的重要力量。学习LLM是一条充满挑战但也充满机遇的道路。只要你坚持不懈、不断学习和实践,就一定能够在LLM领域取得突破。希望本文提供的学习路线图能为你指明方向,助你早日掌握LLM,开启AI学习的新篇章!

m0_62110645的博客 2360

《机器学习》—— K-means 聚类算法

一、什么是K-means 聚类算法?、二、聚类效果评价方式——轮廓系数、三、示例:代码实现、四、聚类算法的优缺点

weixin_73504499的博客 3437

STM32F407+LWIP实战:手把手教你移植mbedtls库实现Modbus TCP双向认证

本文详细介绍了如何在STM32F407微控制器上移植mbedtls库,结合LWIP协议栈实现Modbus TCP的双向认证功能。通过TLS 1.2加密通道,有效提升工业物联网通信的数据安全性,涵盖证书管理、内存优化及性能调优等关键步骤,为嵌入式系统开发者提供了一套完整的解决方案。

weixin_28721917的博客 517

机器学习--K-means聚类&DBSCAN

本文摘要介绍了三种机器学习方法:K-means聚类、DBSCAN和TF-IDF。K-means聚类通过欧式距离和轮廓系数评估聚类效果,需预先设定K值。DBSCAN基于密度聚类,能发现任意形状簇并识别噪声点。TF-IDF通过词频和逆文档频率提取文本关键词,适用于文本分析。文中还提供了Python实现示例,包括参数设置和实际应用代码,展示了从数据预处理到模型评估的完整流程。

2301_77717128的博客 1441

构建AI招聘助手:提高人才筛选与匹配效率

人工成本高:传统招聘过程涉及大量的简历筛选和面试安排,需要耗费大量的人力和时间。匹配效率低:简历筛选过程中,人为因素可能导致信息遗漏或误判,影响匹配效果。招聘周期长:从职位发布到最终录用,传统招聘流程往往耗时较长,影响企业业务发展。机器学习(Machine Learning)是一门让计算机通过数据和经验来学习并改进性能的学科。自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向,旨在让计算机能够理解和解释人类语言。

AI天才研究院 1306

ethernet eth0: Could not attach to PHY

整个流程看下来就是MAC connect PHY的过程失败了,失败的具体原因根据config_init,上图(bcm54xx_config_init) ,从此方向入手去定位原因;我这里的问题是has_gmac4没有置1,根据 has_gmac4: uses GMAC4 core.按照上面的调用逻辑,添加了部分打印,定位到__phy_read接口返回失败。stmmac_mdio_read 大部分都是linux的标准接口。最终取决于平台用的是哪家的phy,调用config_init。

无线互联&网络介绍 2705

机器学习--K-Means聚类算法详解

K-Means聚类是一种无监督学习算法,用于将数据集划分为K个簇(cluster)。每个簇中的数据点彼此相似,而不同簇之间的数据点则尽可能不同。K-Means聚类算法的目标是最小化簇内数据点与簇中心(centroid)之间的距离平方和。K-Means聚类算法是一种简单而高效的聚类方法,广泛应用于各种领域。尽管K-Means算法存在一些局限性,如需要预先设定K值、对初始值敏感等,但通过合理的选择和优化,K-Means算法仍然能够取得良好的聚类效果。

2201_75491841的博客 1810

linux内核协议栈 TCP选项之SACK选项概述

目录 1SACK概述 1.1 SACK允许选项 1.2 SACK选项 2SACK允许选项的发送 2.1 SYN段发送 2.2 接收SYN段 2.2.1 struct tcp_options_received 2.2.2 tcp_parse_options() 2.3 发送SYN+ACK段 3D-SACK 1SACK概述 标准的TCP确认机制中,如果发送方发送了0-1000序号之间的数据,接收方收到了0-100、300-1000,那么接收方只能向发送方确认101,这时发送方会重...

2734

Machine Learning:机器学习中的 K-means聚类

无监督学习的一个代表性问题,聚类,而K-means是聚类算法当中最经典的。

qq_38334677的博客 360

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【ML】K-Means 聚类

请记住,正如您在上一课中所学到的,有很多方法可以使用集群,并且您使用的方法取决于您的数据。寻找更接近 1 的轮廓分数。使用 K-Means 的一个缺点是您需要建立“k”,即质心的数量。幸运的是,“肘部方法”有助于估计“k”的良好起始值。中,您可以使用 'k-means++' 优化,它“将质心初始化为(通常)彼此远离,从而可能比随机初始化产生更好的结果。您在上一步中构建的变量创建一个图表,显示肘部的“弯曲”位置,这表明最佳聚类数。在这个聚类问题的背景下,它指的是我们的数据集的数量往往与平均值相差太大的数据。

sikh_0529的博客 1万+

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

机器学习实验—K-MEANS聚类

一、实验目的和内容         1、掌握数据预处理的方法,对数据进行预处理;         2、掌握基本K-MEANS算法的使用; 二、实验过程         1、将第二次的实验数据“inout.txt”进行处理,分割成143个文本。         主要代码如下: void openFile(char *filename) { cout << "正在打开文档..

DmxExcalibur的博客 3705
上一篇: Caffe(CPU)-Ubuntu16.04下安装教程(未完成)
下一篇: 解决matplotlib中文乱码问题(Ubuntu16.04 Or Mac)
我就想叫这个
博客等级 码龄11年 52粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值