mahout 源码解析之聚类--K-Means,FuzzyKMeans

本文深入解析Apache Mahout中的K-Means和FuzzyKMeans聚类算法实现。通过KMeansDriver类的run函数,了解如何从样本中随机选择初始种子点。FuzzyKMeans采用FuzzyKMeansClusteringPolicy,允许样本以概率形式属于多个簇,其在select和classify函数中体现了这一特点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

K-Means算法的实现在包org.apache.mahout.clustering.kmeans中,其实现了单机版本和Map-Reduce两种版本的算法。

我们先来看类KMeansDriver,在这个类里面我们先从run函数开始看起,首先其利用RandomSeedGenerator随机选取输入样本中的K个作为最先的随机种子。

		if (hasOption(DefaultOptionCreator.NUM_CLUSTERS_OPTION)) {
			//随机生成K个聚类中心
			clusters = RandomSeedGenerator
					.buildRandom(
							getConf(),
							input,
							clusters,
							Integer.parseInt(getOption(DefaultOptionCreator.NUM_CLUSTERS_OPTION)),
							measure);
		}

在buildClusters函数中才真正的开始进行聚类,我们可以看到其选取的聚类策略为KMeansClusteringPolicy,我们知道在进行K-Means聚类的时候需要计算样本与聚类中心的聚类,KMeansClusteringPolicy继承AbstractClusteringPolicy,在AbstractClusteringPolicy中定义了一个classify函数,用于计算样本向量与各个聚类簇之间的分布概率,也就是样本属于各个簇的概率,K-means就是利用这个概率将样本分到各个簇的。AbstractClusteringPolicy中还有一个select函数,默认的是一个样本只属于一个簇,所以其就将概率最大的位置的元素置为1.0,其他的就置为0.0。K-Means聚类利用了我们以前讲的
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值