spark小案例实战3（scala + spark2 版本）

最新推荐文章于 2025-05-12 09:09:47 发布

bajia3228

最新推荐文章于 2025-05-12 09:09:47 发布

阅读量203

点赞数

文章标签：大数据 scala

原文链接：http://www.cnblogs.com/pocahontas/p/11334235.html

版权

需求：

对每个班级内的学生成绩，取出前3名。（分组取topn）

实现步骤：

遍历每组，获取每组的成绩
将一组成绩转换成一个数组缓冲
将数组缓冲按从大到小排序
对排序后的数组缓冲取其前三
打印输出

object GroupTop3 {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().appName("GroupTop3").master("local").getOrCreate()
    //创建初始RDD
    val lines = spark.sparkContext.textFile("D:\\score.txt")
    //对初始RDD的文本行按空格分割，映射为key-value键值对
    val pairs = lines.map(line => (line.split(" ")(0), line.split(" ")(1).toInt))
    //对pairs键值对按键分组
    val groupedPairs = pairs.groupByKey()
    //获取分组后每组前3的成绩
    val top3Score = groupedPairs.map(classScores => {
      var className = classScores._1
      //获取每组的成绩，将其转换成一个数组缓冲,并按从大到小排序，取其前三
      var top3 = classScores._2.toBuffer.sortWith(_>_).take(3)
      Tuple2(className,top3)
    })
    top3Score.foreach(m => {
      println(m._1)
      for(s <- m._2) println(s)
      println("------------------")
    })
  }

转载于:https://www.cnblogs.com/pocahontas/p/11334235.html