使用Mahout运行kmeans算法

原创 于 2018-01-18 20:24:17 发布 · 944 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何利用Apache Mahout实现K-means聚类算法。具体步骤包括：下载数据文件、创建测试目录并导入数据、运行Mahout K-means算法以及查看聚类结果。适用于希望了解Mahout聚类应用的读者。
1.下载data文件
cd ~
curl -O http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data

2.创建测试目录testdata，并把数据导入到这个tastdata目录中(这里的目录的名字只能是testdata)

hadoop fs -mkdir testdata
cd ~
hadoop fs -put synthetic_control.data testdata
3.使用kmeans算法
hadoop jar /usr/local/opt/mahout/libexec/mahout-examples-0.13.0-job.jar  org.apache.mahout.clustering.syntheticcontrol.kmeans.Job


4.查看结果

hadoop fs -lsr output


洞之蝉
关注
Mahout详细使用文档和案例
qq_37480069的博客
05-24 2536
Mahout是一个基于Hadoop的机器学习库，它提供了许多常见机器学习算法的实现，包括聚类、分类、推荐等。以下是Mahout的详细使用文档，包括案例。
利用Mahout实现在Hadoop上运行K-Means算法
summerhai
11-21 2905
K-Means算法是基于分划分的最基本的聚类算法，是学习机器学习、数据挖掘等技术的最基本的 知识，所以掌握其运行原理是很重要的。     转载请注明出处： http://hanlaiming.freetzi.com/?p=144     一、介绍Mahout     Mahout是Apache下的开源机器学习软件包，目前实现的机器学习算法主要包含有协同过滤/推荐引擎，聚类和分类三
Mahout系列之----kmeans 聚类
weixin_30443075的博客
11-09 261
Kmeans是最经典的聚类算法之一，它的优美简单、快速高效被广泛使用。 Kmeans算法描述 输入：簇的数目k；包含n个对象的数据集D。 输出：k个簇的集合。 方法： 从D中任意选择k个对象作为初始簇中心；repeat;根据簇中对象的均值，将每个对象指派到最相似的簇；更新簇均值，即计算每个簇中对象的均值；计算准则函数；until准则函数不在发生变化。 Kmeans 算法...
mahout所需jar包
11-17
Mahout支持K-Means等聚类算法，在此zip包中已经有打好jar包的资源，不需要用户再打jar包，可以直接使用。
mahout使用KMeans算法
Cody的笔记本
12-01 5387
mahout提供了内存中和分布式的两种KMeans聚类实现。下面是内存中KMeans的代码示例，示例代码使用了最简单的一维向量作为输入： /** * Tests KMeans cluster algorithm in memory, note the test uses only 1-D vector * i.e., a vector of a single do
mahout kmeans 测试
flyeagle88的专栏
10-14 945
hadoop jar /opt/cloudera/parcels/CDH/lib/mahout/mahout-examples-0.7-cdh4.3.0-job.jar \ org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
mahout hadoop kmeans聚类
最新发布
06-19
4.运行KMeans算法：通过命令行调用Mahout的kmeans命令。5.查看结果：Mahout输出的聚类结果需要转换回可读格式。具体步骤：**1.环境配置**根据引用[4]，需要配置Java、Hadoop和Mahout的环境变量。确保在/etc/profile...
mahout聚类算法
04-07
Mahout 聚类算法可以分为多种类型，如 Canopy、KMeans、Fuzzy-KMeans、Spectral Clustering 等，每种算法都有其自己的特点和应用场景。 在 Mahout 聚类算法中，数据模型是数据的基本结构，它可以是 DenseVector、...
mahout canopy+kmeans测试数据
11-08
先利用Canopy算法对数据进行初步的分组，减少数据规模，然后在每个Canopy内部运行K-means算法，以获得更精确的聚类结果。这种方法不仅可以提高聚类的速度，还可以改善聚类的质量，尤其是在处理大数据集时表现得尤为...
掌握Kmeans算法：Mahout学习的精华
- 配置和运行环境：在Mahout中实现K-Means算法需要配置好Hadoop环境，因为Mahout很多操作都是基于MapReduce来完成的。同时需要安装和配置好Mahout库和相关依赖。 - 编写Mahout程序：利用Mahout的API可以比较容易地...
mahout之Kmeans使用及结果分析
some_321的专栏
07-12 543
Mahout-Kmeans 1，两个输入路径：一个是数据的点；一个是初始集群。      点的输入文件是SequenceFile(Key, VectorWritable)格式；       而初始集群的输入文件格式是SequenceFiles(Text, Cluster | Canopy) 2，每次迭代会产生一个输出目录“cluster-N”，输出文件格式为SequenceFile(T...
mahout （一）kmeans的使用
山歌嘎子
11-27 388
原文地址：http://mahout.apache.org/users/clustering/k-means-commandline.html
mahout中的kmeans简单实例
aidayei的专栏
07-30 4100
在Mahout_in_Action这本书中，有个kmeans的简单实例，可书中只给了源代码，而并没有指出要导入哪些包才能正确运行 这本书在前面提到书中所有代码都是基于mahout0.4版本的，可是我发现这个kmeans的例子，却是基于mahout0.3的，有几个函数0.4版中是
mahout k-means
小蝴蝶
03-09 441
Kmeans算法是应用的最广泛的基于划分的算法，实验室有个小伙伴最后的毕业论文也是基于kmeans聚类进行研究的（咦。。。好像前言不搭后语）。        kmeans算法的大致思想是：首先随机选取K个数据对象，每个数据对象分别代表了K个簇的中心点，对于剩下的每个对象，分别计算该对象到各个中心点的距离，并将他们分配给最近的簇，然后重新计算各个簇的中心。重复这个过程，直至聚类准则函数收敛。准则函
mahout k-means实战
小蝴蝶
03-10 612
关于聚类算法，在参与项目期间，真正用的比较多和有具体操作的是kmeans算法，因此这里就只说下mahout  kmeans整体运行的IPO以及一些细节问题。
Mahout K-means聚类
葱葱的城堡
08-08 6182
以下约定： * $LOCAL表示本地数据存放目录 * $HADOOP_MAHOUT表示hadoop集群的mahout输出目录 * $MAHOUT_HOME表示本地mahout的安装目录 --上传数据 hf -put $MAHOUT_HOME/test-data.csv \ $HADOOP_MAHOUT/testdata --hadoop命令行执行kmeans clus
机器学习开源项目mahout+用其开发推荐引擎
TreeFish2012的专栏
03-09 1399
机器学习开源项目mahout+用其开发推荐引擎 Apache Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。经典算法包括聚类、分类、协同过 滤、进化编程等等，并且，在 Mahout 的最近版本中还加入了对 Apac
mahout-example中kmeans详解（1）宏观上了解kmeans源码
todo-hadoop学习记录
04-10 1683
作为熟悉mahout中算法的第一步，
Mahout Kmeans Clustering 学习
zhan8610189的专栏
05-04 311
一、Mahout命令使用 合成控制的数据集 synthetic_control.data 可以从 此处下载，总共由600行X60列double型的数据组成， 意思是有600个元组，每个元组是一个时间序列。 1. 把数据拷到集群上，放到kmeans/目录下 hadoop fs -mv synthetic_control.data kmeans/synthetic_control.data ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值