spark:kmeans测试

最新推荐文章于 2021-05-29 16:21:40 发布

ASD991936157

最新推荐文章于 2021-05-29 16:21:40 发布

阅读量805

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/ASD991936157/article/details/51940338

本文介绍如何使用 Apache Spark 的 MLlib 库实现 KMeans 聚类算法。通过具体示例代码展示了从数据读取、预处理到模型训练及结果展示的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.spark.ml.clustering.KMeans
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by fhqplzj on 16-7-18 at 上午11:02.
  */
object TestKMeans {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[*]").setAppName("TestKMeans")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    val input = "/home/fhqplzj/github/spark-1.6.1/data/mllib/kmeans_data.txt"
    val rowRDD = sc.textFile(input).filter(_.nonEmpty).map(s => Vectors.dense(s.split("\\s+").map(_.toDouble))).zipWithIndex().map(_.swap)
    val dataset = sqlContext.createDataFrame(rowRDD).toDF("id", "features")
    val model = new KMeans().setK(2).setFeaturesCol("features").setPredictionCol("prediction").fit(dataset)
    println("Cluster centers:")
    model.clusterCenters.foreach(println)
  }
}