- K-Means原理初探
- 传统K-Means算法流程
- K-Means初始化优化K-Means++
在上节我们提到,k个初始化的质心的位置选择对最后的聚类结果和运行时间都有很大的影响,因此需要选择合适的k个质心。如果仅仅是完全随机的选择,有可能导致算法收敛很慢。K-Means++算法就是对K-Means随机初始化质心的方法的优化。
K-Means++的对于初始化质心的优化策略也很简单,如下:
a) 从输入的数据点集合中随机选择一个点作为第一个聚类中心μ1μ1
b) 对于数据集中的每一个点xixi,计算它与已选择的聚类中心中最近聚类中心的距离
D(x)=argmin∑i=0k=selected||xi−μr||22D(x)=argmin∑i=0k=selected||xi−μr||22
c) 选择一个新的数据点作为新的聚类中心,选择的原则是:D(x)较大的点,被选取作为聚类中心的概率较大
d) 重复b和c直到选择出k个聚类质心
e) 利用这k个质心来作为初始化质心去运行标准的K-Means算法
(内涵:就是尽量选择更分散的点来作为初始的聚类中心) K-Means距离计算优化elkan K-Means
在传统的K-Means算法中,我们在每轮迭代时,要计算所有的样本点到所有的质心的距离,这样会比较的耗时。那么,对于距离的计算有没有能够简化的地方呢?elkan K-Means算法就是从这块入手加以改进。它的目标是减少不必要的距离的计算。那么哪些距离不需要计算呢?elkan K-Means利用了两边之和大于等于第三边,以及两边之差小于第三边的三角形性质,来减少距离的计算。
第一种规律是对于一个样本点xx和两个质心,μ2μ2。如果我们预先计算出了这两个质心之间的距离D(j1,j2)D(j1,j2),则如果计算发现2D(x,j1)≤D(j1,j2)2D(x,j1)≤D(j1,j2),我们立即就可以知道D(x,j1)≤D(x,j2)D(x,j1)≤D(x,j2)。此时我们不需要再计算D(x,j2)D(x,j2),也就是说省了一步距离计算。
第二种规律是对于一个样本点xx和两个质心,μ2μ2。我们可以得到
D(x,j2)≥max{0,D(x,j1)−D(j1,j2)}D(x,j2)≥max{0,D(x,j1)−D(j1,j2)}
这个从三角形的性质也很容易得到。利用上边的两个规律,elkan K-Means比起传统的K-Means迭代速度有很大的提高。但是如果我们的样本的特征是稀疏的,有缺失值的话,这个方法就不使用了,此时某些距离无法计算,则不能使用该算法。
大样本优化Mini Batch K-Means
在统的K-Means算法中,要计算所有的样本点到所有的质心的距离。如果样本量非常大,比如达到10万以上,特征有100以上,此时用传统的K-Means算法非常的耗时,就算加上elkan K-Means优化也依旧。在大数据时代,这样的场景越来越多。此时Mini Batch K-Means应运而生。
顾名思义,Mini Batch,也就是用样本集中的一部分的样本来做传统的K-Means,这样可以避免样本量太大时的计算难题,算法收敛速度大大加快。当然此时的代价就是我们的聚类的精确度也会有一些降低。一般来说这个降低的幅度在可以接受的范围之内。
在Mini Batch K-Means中,我们会选择一个合适的批样本大小batch size,我们仅仅用batch size个样本来做K-Means聚类。那么这batch size个样本怎么来的?一般是通过无放回的随机采样得到的。
为了增加算法的准确性,我们一般会多跑几次Mini Batch K-Means算法,用得到不同的随机采样集来得到聚类簇,选择其中最优的聚类簇。
K-Means与KNN
初学者很容易把K-Means和KNN搞混,两者其实差别还是很大的。K-Means是无监督学习的聚类算法,没有样本输出;而KNN是监督学习的分类算法,有对应的类别输出。KNN基本不需要训练,对测试集里面的点,只需要找到在训练集中最近的k个点,用这最近的k个点的类别来决定测试点的类别。而K-Means则有明显的训练过程,找到k个类别的最佳质心,从而决定样本的簇类别。
当然,两者也有一些相似点,两个算法都包含一个过程,即找出和某一个点最近的点。两者都利用了最近邻(nearest neighbors)的思想。
K-Means小结
K-Means是个简单实用的聚类算法,这里对K-Means的优缺点做一个总结。K-Means的主要优点有:
1)原理比较简单,实现也是很容易,收敛速度快。
2)聚类效果较优。
3)算法的可解释度比较强。
4)主要需要调参的参数仅仅是簇数k。
K-Means的主要缺点有:
1)K值的选取不好把握
2)对于不是凸的数据集比较难收敛
3)如果各隐含类别的数据不平衡,比如各隐含类别的数据量严重失衡,或者各隐含类别的方差不同,则聚类效果不佳。
4) 采用迭代方法,得到的结果只是局部最优。
5) 对噪音和异常点比较的敏感。
相关推荐
机器学习——聚类算法k-means
机器学习——聚类算法k-means 常见的聚类算法,k-means算法(k-均值算法)由簇中样本的平均值来代表整个簇。 文章目录机器学习——聚类算法k-means聚类分析概述一、k-means背景?二、k-means算法思想1.k-means聚类算法练习-12.算法练习-1代码实现k-means总结 聚类分析概述 简单地描述, 聚类(Clustering)是将数据集划分为若干相似对象组成的多个组(group)或簇(cluster)的过程,使得 同一组中对象间的相似 度最大化,不同组中对象间的相似度最小
机器学习(聚类七)——层次聚类的优化算法
上篇博客介绍的层次聚类,尤其是AGNES这一传统的层次聚类算法。这篇博客介绍层次聚类的优化算法:BIRCH算法(平衡迭代削减聚类法),以及对BIRCH优化的CURE算法(使用代表点的聚类法)。
机器学习:K-means聚类算法
机器学习:K-means聚类算法 K-means(K均值)是基于数据划分的无监督聚类算法,是图像分割和数据挖掘领域常用的算法。 (一) K-means算法的基本原理 聚类算法可以理解为无监督的分类方法,即样本集预先不知所属类别或标签,需要根据样本之间的距离或相识度自动进行分类。聚类算法可以分为基于划分的方法、基于联通性的方法、基于密度的算法、基于概率分布模型的算法等,K-means属于基于划分的聚...
基于密度的DBSCAN聚类及其优化的OPTICS聚类(一)
聚类分析中基于密度的DBSCAN聚类算法可以生成形状多样的类,并且可以检测出异常值和噪声点。但是对于输入参数敏感,如何提高DBSCAN聚类结果的准确性和可信度,是一个值得研究的趋势和方向。..................
机器学习聚类模型:K-means聚类
机器学习聚类模型:K-means聚类;手写k-means聚类算法;K-means质心更新过程;手肘法计算K-means的K值;轮廓系数法计算K-means的K值
【机器学习-14】K-means聚类算法:原理、应用与优化
在众多聚类算法中,K-means算法因其简单高效而备受青睐。K-means算法的基本思想是:通过迭代的方式,将数据划分为K个不同的簇,并使得每个数据点与其所属簇的质心(或称为中心点、均值点)之间的距离之和最小。具体来说,K-means算法的执行过程通常包括以下几个步骤:首先,随机选择K个数据点作为初始的簇质心;然后,根据每个数据点与各个簇质心的距离,将其分配给最近的簇;接着,重新计算每个簇的质心,即取簇内所有数据点的平均值作为新的质心;
【机器学习】DBSCAN Algorithms基于密度的聚类算法
一、算法思想: DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同,它将簇定义为密度相连的点的最大集合,能够把具有足够高密度的区域划分为簇,并可在噪声的空间数据库中发现任意形状的聚类。 DBSCAN中的几个定义: ...
Zemax序列模式下激光二极管(LD)光源建模与像散校正实战
本文详细讲解了在Zemax序列模式下精确建立激光二极管(LD)光源模型并校正其像散的核心方法。通过将椭圆光束的发散角转换为渐晕系数,并巧妙利用理想柱面镜模拟像散,实现了对LD光源特性的高精度模拟。该方法特别适用于激光耦合、激光雷达等需要对像散光束进行精密控制的光学系统设计。
机器学习(聚类四)——K-Means的优化算法
K-Means算法是最基本的一种聚类算法,也会有一些问题,前面的博客《机器学习(聚类二)——K-Means》中有介绍,这里就不详细说了。本篇文章介绍一下典型的优化算法。
Xftp卸载报错1628终极解决指南:深入解析InstallShield残留问题
本文深入解析了Xftp卸载时遇到的1628错误,其根源在于InstallShield安装引擎的残留问题。文章提供了从手动清理注册表项到彻底删除隐藏安装备份文件夹的完整解决方案,并给出了防患于未然的实用建议,帮助用户彻底解决这一经典安装报错。
小米汽车技术路线
从小米的电子电器架构来看,行业内EEA已经由域集中逐渐过度到域融合+区域控制的架构并向着中央计算+区域控制的方向发展。 而小米汽车智驾算法也从基于高精地图模块化架构,到去高精地图模块化架构,再到端到端架构,这也正是行业对于智驾算法演进的共识。
【机器学习】K均值聚类(K-Means)_吴恩达ML
声明:本文基于在校课程及吴恩达ML教程,代码参考自多份博客(已在参考链接中表明),如需转载请标明出处。 源代码、实验数据、实验指导书: https://pan.baidu.com/s/1yTTI0_w2bZ7o8uuxravLyA 提取码: spbp 一、算法描述 K-均值是最普及的聚类算法。 在非监督学习中,数据没有附带任何标签。也就是说,在非监督学习中,将一系列无标签的训练数据,输入到一个算法...
从拧螺丝到精密装配:三菱伺服电机扭矩控制在工业自动化中的实战解析
本文深入解析三菱伺服电机扭矩控制在工业自动化中的实战应用,重点介绍MR-J4系列伺服系统的高精度扭矩响应技术。从螺丝紧固到精密装配,详细讲解扭矩控制模式的选择、硬件配置、参数设置及典型故障排查方案,帮助工程师提升生产效率和产品质量。
【机器学习】聚类(k-means)
在“无监督学习”任务中研究最多、应用最广目标:将数据样本划分为若干个通常不相交的“簇” (cluster) 既可以作为一个单独过程(用于找寻数据内在的分布结构) 也可作为分类等其他学习任务的前驱过程在 K-Means 中,每个数据点都会被分配到离它最近的簇(簇的中心称为质心)。因此,我们需要计算每个点到 kkk 个质心的距离,并选出最小的那个。是直线距离,最简单的两点之间距离:曼哈顿距离表示“拐弯的距离”,就像走方格街道那样,不能直接穿越。曼哈顿距离只关心在 x 和 y方向上走了多远,把绝对值加起来就行
万物皆可GAN ---普通GAN, pix2pix, CycleGAN和pix2pixHD的比较以及演变过程
普通GAN, pix2pix, CycleGAN和pix2pixHD的原理、比较以及演变过程
过压保护电路(OVP)
作者:AirCity 2020.2.4 Aircity007@sina.com 本文所有权归作者Aircity所有 1 示例一 当VBUS=5V时,各点电压电流如图所示,Q1接近截止,输出信号是5V。 当VBUS=5.4V开始,输出信号开始下降,直到VBUS=6.1V,输出信号降低为0.6V。 下面是实测波形,这个电路,输出信号的电压不会超过5.4V,这个输出信号可用于电源的控制信号。 2 ...
机器学习——K-means聚类
无监督学习处理没有预先标记的数据集,目标是:发现数据中的隐藏模式识别内在结构提取有意义特征。
银河麒麟V10SP1实战:5步搞定AD域登录(附Samba+Winbind配置详解)
本文提供银河麒麟V10 SP1操作系统无缝集成Windows AD域的实战指南。文章深入解析了Samba、Winbind与Kerberos三大核心组件的协作原理,并详细阐述了从环境准备、软件包安装、配置文件定制到执行加域及排错的全流程。特别针对2403等新版本提供了关键配置差异与避坑要点,旨在帮助企业运维人员实现高效、稳定的域环境登录与管理。
机器学习—K-means聚类、密度聚类、层次聚类理论与实战
文章目录引言一、K-means聚类1.算法原理2.算法模型常用参数、属性、方法介绍3.算法实战二、密度聚类—DBSCAN1.算法原理2. 算法参数、属性、方法介绍3.算法实战三、层次聚类1.算法原理2.算法参数、属性、方法介绍3.算法实战四、总结 引言 聚类是机器学习算法中“新算法”出现最多、最快的领域。一个重要的原因是聚类不存在客观标准。下面我们分别介绍K-means聚类、DBSCAN算法(密度聚类)、AgglomerativeClustering算法(层次聚类),GMM算法(高斯混合模型)。 一、K
基于Pixi.js的Live2D看板娘离线加载实战指南
本文详细介绍了基于Pixi.js实现Live2D看板娘离线加载的完整方案,涵盖环境搭建、模型加载、交互功能实现及常见问题解决。通过Pixi.js的硬件加速优势,开发者可在Web和Electron项目中无缝集成离线运行的Live2D模型,提升用户体验并避免网络依赖问题。
win10 跳过U8环境检测的IE WebControls.rar
win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。
《机器学习》—— K-means 聚类算法
一、什么是K-means 聚类算法?、二、聚类效果评价方式——轮廓系数、三、示例:代码实现、四、聚类算法的优缺点
复分析 阿尔福斯(Ahlfors) 第三版答案 英文
答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案
机器学习--K-means聚类&DBSCAN
本文摘要介绍了三种机器学习方法:K-means聚类、DBSCAN和TF-IDF。K-means聚类通过欧式距离和轮廓系数评估聚类效果,需预先设定K值。DBSCAN基于密度聚类,能发现任意形状簇并识别噪声点。TF-IDF通过词频和逆文档频率提取文本关键词,适用于文本分析。文中还提供了Python实现示例,包括参数设置和实际应用代码,展示了从数据预处理到模型评估的完整流程。
ET2012新版免狗免安装绿色软件
ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,
Camera2Demo
在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作
机器学习--K-Means聚类算法详解
K-Means聚类是一种无监督学习算法,用于将数据集划分为K个簇(cluster)。每个簇中的数据点彼此相似,而不同簇之间的数据点则尽可能不同。K-Means聚类算法的目标是最小化簇内数据点与簇中心(centroid)之间的距离平方和。K-Means聚类算法是一种简单而高效的聚类方法,广泛应用于各种领域。尽管K-Means算法存在一些局限性,如需要预先设定K值、对初始值敏感等,但通过合理的选择和优化,K-Means算法仍然能够取得良好的聚类效果。
Machine Learning:机器学习中的 K-means聚类
无监督学习的一个代表性问题,聚类,而K-means是聚类算法当中最经典的。
【ML】K-Means 聚类
请记住,正如您在上一课中所学到的,有很多方法可以使用集群,并且您使用的方法取决于您的数据。寻找更接近 1 的轮廓分数。使用 K-Means 的一个缺点是您需要建立“k”,即质心的数量。幸运的是,“肘部方法”有助于估计“k”的良好起始值。中,您可以使用 'k-means++' 优化,它“将质心初始化为(通常)彼此远离,从而可能比随机初始化产生更好的结果。您在上一步中构建的变量创建一个图表,显示肘部的“弯曲”位置,这表明最佳聚类数。在这个聚类问题的背景下,它指的是我们的数据集的数量往往与平均值相差太大的数据。
机器学习实验—K-MEANS聚类
一、实验目的和内容 1、掌握数据预处理的方法,对数据进行预处理; 2、掌握基本K-MEANS算法的使用; 二、实验过程 1、将第二次的实验数据“inout.txt”进行处理,分割成143个文本。 主要代码如下: void openFile(char *filename) { cout << "正在打开文档..
2257



被折叠的 条评论
为什么被折叠?



