机器学习spark ml提取文章关键词特征并聚类word2Vec+KMeans

最新推荐文章于 2024-05-14 21:57:51 发布

灬皇帝的新装灬

最新推荐文章于 2024-05-14 21:57:51 发布

阅读量2.9k

点赞数

分类专栏：大数据文章标签：机器学习聚类分析 spark 关键词提取

本文链接：https://blog.youkuaiyun.com/qq_31032181/article/details/83276817

版权

该博客介绍了如何利用Spark ML库的word2Vec进行文本特征提取，接着结合KMeans算法对文章进行聚类，以实现关键词的自动分类。文章提到了训练模型、数据分类以及可能的优化步骤，最终目标是形成清晰的主题类别，如体育、游戏、生活和艺术等。整个过程基于最新的Spark机器学习库，而非mllib。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.取英文文章数据，训练成模型，就是特征向量，用word2Vec。

2.然后用这个模型，去将新数据，或者老数据进行分类。

3.效果非常好的话，会形成类似：体育、游戏、生活、艺术等类别。

4.所用为最新的spark ml，不是mllib。

5.中间可以自己加一些去除停用词，结果优化，格式化输出等。

    val conf = new SparkConf().setMaster("local[2]").setAppName("word2vec_test03")
    var sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    val path = "D:\\part-00000"
    val rdd = sc.textFile(path)
//    import scala.collection.JavaConverters._
//    val stopWords = sc.textFile("stop_words_eng.txt").collect().toSeq.asJava
//    val filter = new StopRecognition().insertStopWords(stopWords)
//    filter.insertStopNatures("w", null, "null")

    val splitWordRdd = rdd.map(_.split(",")).filter(_.size>1).map(x => {
      (x(0), x(1))
    })
    //splitWordRdd.foreac