基于模糊K-Means算法的新闻聚类

最新推荐文章于 2024-07-03 10:34:36 发布

杨鑫newlfe

最新推荐文章于 2024-07-03 10:34:36 发布

阅读量3.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： Java 大数据挖掘与大数据应用案例

本文链接：https://blog.youkuaiyun.com/u012965373/article/details/50754449

大数据挖掘与大数据应用案例同时被 2 个专栏收录

536 篇文章 ¥9.90 ¥99.00

订阅专栏

Java

427 篇文章

订阅专栏

该程序展示了如何利用Apache Mahout的模糊K-Means算法对新闻进行聚类。首先，对输入的新闻数据进行预处理，包括分词、创建词频向量和TF-IDF转换。接着，应用Canopy算法生成初步聚类，最后运行模糊K-Means算法以确定最终的新闻类别。

<strong>/***
 * @author YangXin
 * @info 基于模糊K-Means算法的新闻聚类
 */
package unitNine;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.SequenceFile;
import org.apache.lucene.analysis.Analyzer;
import org.apache.mahout.clustering.Cluster;
import org.apache.mahout.clustering.classify.WeightedVectorWritable;
import org.apache.mahout.clustering.fuzzykmeans.FuzzyKMeansDriver;
import org.apache.mahout.common.HadoopUtil;
import org.apache.mahout.common.distance.ManhattanDistanceMeasure;
import org.apache.mahout.common.distance.TanimotoDistanceMeasure;
import org.apache.mahout.vectorizer.DictionaryVectorizer;
import org.apache

了解本专栏