mahout 第一课时

1，查看数据行数：

cat file.txt |wc -l

1，运行k-means

a，mahout mainClass

b，hadoop jar myjar.jar mainClass 

2，将结果文件转换成普通文本：

mahout seqdumper -i inputPath -o outputPath

3，打印固定位置的数据

cat 000000_0 |awk -F '\t' '{print $26}'>pagetitle.txt

4，将结果文件转换成向量文本

mahout vectordump -i inputPath -o outputPath

5，将vi查看器中的文件显示行数

:set nu

6，k-means计算步骤

a，提取feature

b，将featrue向量化

c，利用k-means算法实现聚类

7，将SGML格式数据转化为文本文件

mahout org.apache.lucene.benchmark.utils.ExtractReuters inputPath outputPath

8，步骤4：将数据转换成sequenceFile格式

mahout -i inputPath -o outputPath -C UTF-8 -chunk 5

9，步骤5：数据向量化

mahout seq2sparse -i inputPath -o ouputPath --maxDFPercent 85 --namedvector

10，执行k-means 聚类

mahout kmeans -i inputPath -c tmpPath -o outputPath -dm org.apache.mahout.common.distance.CosineDistanceMeasure(计算向量的类) -x(最大迭代次数) 10 /

-k(通过随机算法挑选出20个簇心)  20 

11，结合canopy算法来做kmeans聚类

mahout kmeans -i inputPath -c tmpPath -o outputPath -dm org.apache.mahout.common.distance.CosineDistanceMeasure(计算向量的类)  /

-cd 0.1 -x(最大迭代次数) 10 -ow cl

11，导出结果

mahout clusterdump -i inputPath -o ouputPath -d dirPath(指定目录文件？？) -dt sequencefile -b 100 -n 20 --evaluate /                                                                                                -dm org.apache.mahout.common.distance.CosineDistanceMeasure /

--pointsDir pointsPath