MLlib中的K-means算法（一）

最新推荐文章于 2023-07-17 15:01:37 发布
原创 最新推荐文章于 2023-07-17 15:01:37 发布 · 332 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#K-means算法 #机器学习

本文深入解析K-means聚类算法，探讨其在广告推荐和用户推荐等场景的应用。K-means是一种无监督学习算法，通过计算欧式距离实现数据集的高效划分。文章介绍了算法的优点、缺陷及K-means++改进方法，并详细说明了如何使用Spark MLlib进行K-means算法的实现，包括数据预处理、参数设置、结果评估等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MLlib是Spark提供的一个实现了很多常用机器学习算法的工具包。
Mahout比较成熟并且算法丰富，但是运行速度慢。
下面将主要对机器学习中的聚类K-means算法进行介绍。

K-means算法

一种无监督学习算法，是一种经典的聚类算法，它的思想是对大量未知标注的数据集，按数据的内在相似度将数据集划分为多个簇，使得簇内数据相似度大而簇间相似度小，一般通过欧式距离度量数据间的相似度，相似度高的距离近。
应用：广告推荐、用户推荐
现实应用中，数据特点：多维度、大规模、多种数据格式。
1、相似度计算方法
欧式距离（两点之间的直线距离）、余弦距离（两点间的夹角）等
2、优点
简答，快速。
处理大规模数据集具有较高的可伸缩性和高效率。
擅长处理密集数据
3、缺陷
K值的选取以及聚类中心点的选取，大都需要人为选取，依靠经验，对聚类结果有很大的影响。
对噪声和孤立点数据较为敏感
**K-means++**克服了K-means算法的一部分缺陷，按照最大最小距离算法进行聚类中心点的选取，可确定所选取的初始中心点较为分散。
4、MLlib中的K-means算法
1、创建SparkContext
2、加载数据，并将其转换为Vector
3、给定K值和迭代次数，并指定选取初始中心点的模式（通常为随机选取）
4、输出当前的聚类中心以及误差平方和
5、预测测试集的数据的类别
6、关闭SparkContext

mllib——实例2：KMeans（含源码分析）
ant的博客
03-27 2000
算法： 1. 选择k个簇中心，作为聚类中心 。 2. 计算每个样本点到聚类中心的距离，将每个样品点分配到最近的聚类中心，形成k个簇。 3. 计算每个簇的平均值，并将这个平均值作为新的聚类中心。 4. 反复执行2、3步骤，直到旧质心和新质心的差异小于阈值或迭代次数达到要求为止。 实例： 在IDEA运行，如果是spark-shell命令行窗口， 可使用:paste进入粘贴模式，注意...
使用 Spark MLlib 做 K-means 聚类分析
Xlucas的博客
08-01 3980
Spark 机器学习库介绍Spark 机器学习库提供了常用机器学习算法的实现，包括聚类，分类，回归，协同过滤，维度缩减等。使用 Spark 机器学习库来做机器学习工作，可以说是非常的简单，通常只需要在对原始数据进行处理后，然后直接调用相应的 API 就可以实现。但是要想选择合适的算法，高效准确地对数据进行分析，您可能还需要深入了解下算法原理，以及相应 Spark MLlib API 实现的参数的意义
spark平台scala语言自己实现的kmeans算法，相比于MLlib的Kmeans更简单，更容易看懂，代码量少注释多
05-20
不到一百行的代码教你在spark平台中使用scala实现kmeans算法。简单易懂，大量注释。适合初学者参考理解。本程序在intelliJ IDEA2016.1.1 中编程，运行在spark1.6.1 scala2.10.4本地模式下运行成功。 数据集：（其实‘，’前面的1.0 0.0没用，不过不能删除，除非你修改代码中的数据解析代码） 1.0,0.0 1.1 0.1 0.0,2.0 1.0 -1.0 0.0,2.0 1.3 1.0 1.0,0.0 1.2 -0.5 1.0,1.0 1.4 0.8 1.0,0.3 1.5 1.1 0.0,2.1 1.0 -1.0 0.0,1.0 2.3 1.3 1.0,0.2 0.2 -1.5 1.0,1.0 1.4 2.8
MLlib中K-means流程
accbbbxx的博客
02-22 873
MLlib的聚类算法有K均值算法，LDA算法，二分K均值算法，高斯混合模型等等。以K均值为例。 MLlib中K-means流程如下： 第一步，选择K个点作为初始聚类中心。 第二步，计算其余所有点到聚类中心的距离，并把每个点划分到离它最近的聚类中心所在的聚类中去。在这里，衡量距离一般有多个函数可以选择，最常用的是欧几里得距离(EuclideanDistance),也叫欧式距离。公式如下：其中C代
Spark MLlib聚类clustering：KMeans K均值 ---原理及实战
王佩的优快云博客
11-26 2957
原理 KMeans,即K均值。K:K个Cluster，Means：均值，每个Cluster以均值为中心点。 KMeans train方法的重要参数: data: RDD[Vector] 输入数据类型 k: Int cluster数目 maxIterations: Int 最大迭代次数
Spark MLlib之KMeans
数据人生
03-22 1769
Spark MLlib之KMeansimport org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; im
Spark MLlib 实现 K-means 算法
05-22
Spark MLlib 中实现了 K-means 算法，可以用于大规模数据的聚类。 以下是 Spark MLlib 实现 K-means 算法的基本步骤： 1. 加载数据集，将数据集转换为特征向量 2. 初始化 K 个簇的质心 3. 对每个样本，将其分配到...
k-means聚类算法简介
01-07
k-means 算法是一种基于划分的聚类算法，它以 k 为参数，把 n 个数据对象分成 k 个簇，使簇内具有较高的相似度，而簇间的相似度较低。 1. 基本思想 k-means 算法是根据给定的 n 个数据对象的数据集，构建 k 个划分...
Spark MLlib基于K-Means实现数据聚类
热门推荐
17611119847
09-07 4万+
Spark MLlib基于K-Means实现数据聚类K-MeansK-Means简介算法实现原则Spark实现K-MeansSpark机器学习库算法步骤完整代码（基于spark.ml） K-Means K-Means简介        k均值聚类算法（k-means clustering algorithm）是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之
sparkmllib聚类算法：k-means算法
prometheus的博客
11-20 4335
介绍k-means算法原理比较简单，与上之前提到的C4.5算法不同，C4.5属性分类算法（有监督的），而k-means算法属于聚类算法（无监督的），两者有着本质的区别。 具体的算法描述如下： 1、随机选取 k个聚类质心点 2、重复下面过程直到收敛 { 对于每一个样例 i，计算其应该属于的类： 对于每一个类 j，重新计算该类的质心： 比较好理解。 k-means
3 分钟学会调用 Apache Spark MLlib KMeans
samhacker的专栏
07-27 7707
Apache Spark MLlib是Apache Spark体系中重要的一块拼图：提供了机器学习的模块。不过，目前对此网上介绍的文章不是很多。拿KMeans来说，网上有些文章提供了一些示例程序，而这些程序基本和Apache Spark 官网上的程序片断类似：在得到训练模型后，几乎都没有展示如何使用该模型、程序执行流程、结果展示以及举例测试数据等部分。笔者根据Apache Spark官网上的程序片断，写了一个完整的调用MLlib KMeans库的测试程序，并成功在Spark 1.0 + Yarn 2.2 的
调用MLlib库实现Kmeans聚类
Transfer
09-05 1033
调用MLlib库实现Kmeans聚类使用工具 - IDE：IntelliJ IDEA - scala解释器：scala-2.12.3 - Java jdk：jdk1.8.0_66 - spark lib:spark-assembly-1.4.1-hadoop2.6.0Steps 获取数据集 wget http://labfile.oss.aliyuncs.com/courses/736/t
Spark MLlib之Kmeans聚类
LMR的博客
06-10 8761
package mllib.cluster import org.apache.spark.mllib.clustering.{KMeans, KMeansModel} import org.apache.spark.mllib.linalg import org.apache.spark.mllib.linalg.{DenseVector, Vectors} import org.apach...
Spark-MLlib的快速使用之十一（K-means 聚类）
tbb_1984的博客
11-20 392
K-means是最常用的聚类算法之一，它将数据点聚类为预定义数量的聚类。该spark.mllib实现包括一个名为kmeans ||的k-means ++方法的并行变体 。实现中包含以下参数：spark.mllib k是所需簇的数量。 maxIterations是要运行的最大迭代次数。 initializationMode指定随机初始化或通过k-means ||初始化。 runs是运行k-m...
Spark MLlib中KMeans聚类算法的解析和应用
weixin_45906054的博客
04-13 1313
聚类算法是机器学习中的一种无监督学习算法，它在数据科学领域应用场景很广泛，比如基于用户购买行为、兴趣等来构建推荐系统。核心思想可以理解为，在给定的数据集中（数据集中的每个元素有可被观察...
Spark MLlib Kmeans源代码解读(上)
stevekangpei的博客
06-17 4810
Spark MLlib 源代码解读之Kmeans(上)PS:第一次写博客，希望大家支持，谢谢。基本原理：Kmeans算法的基本思想是：初始随机给定k个簇中心，按照最近邻的点将数据集中所包含的点分给不同的中心点，进而得到数据的分类。在分类过程中，需要不停的进行迭代，同时更新中心点的坐标，直到中心点的移动距离小于某一个给定的精度值。Kmeans的聚类算法主要分为以下三个步骤：如下图所示 我们可以看到，
Spark MLlib快速入门(1)逻辑回归、Kmeans、决策树、Pipeline、交叉验证
qq_44665283的博客
07-17 4120
Spark MLlib快速入门(1)逻辑回归、Kmeans、决策树、Pipeline、交叉验证
k-means聚类原理和使用sparkmllib实现
qq_34896163的博客
01-18 2985
聚类与分类的区别   分类：类别是已知的，通过对已知分类的数据进行训练和学习，找到这些不同类的特征，再对未分类的数据进行分类。属于监督学习。   聚类：事先不知道数据会分为几类，通过聚类分析将数据聚合成几个群体。聚类不需要对数据进行训练和学习。属于无监督学习。   关于监督学习和无监督学习，这里给一个简单的介绍：是否有监督，就看输入数据是否有标签，输入数据有标签，则为有监督学习，否则为...
SparkMllib之K-Means聚类算法案例
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
12-06 1658
SparkMllib之K-Means聚类算法案例一、SparkMLlib实现K-Means二、案例实现 一、SparkMLlib实现K-Means MLlib的KMeans聚类模型采用KMeans算法来计算聚类中心点。MLlib实现KMeans聚类算法：首先随机生成聚类中心点，支持随机选择样本点当作初始中心点，还支持k-means++方法选择最优的聚类中心点。然后迭代计算样本的中心点，迭代计算中心点的分布式实现是：首先计算每个样本属于哪个中心点，之后采用聚合函数统计属于每个中心点的样本值之和以及样本数量
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值