【Spark 应用】实现分组取topN

最新推荐文章于 2024-06-19 15:39:06 发布

原创最新推荐文章于 2024-06-19 15:39:06 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

---- Spark 专栏收录该内容

25 篇文章

订阅专栏

本文详细介绍了一种使用Scala和Apache Spark实现的groupTopN功能，该功能主要用于对大量数据进行分组并获取每组的前N项。通过具体代码示例，展示了如何将数据加载到Spark RDD中，转换为key-value格式，进行分组和排序，最终输出每组的前N个元素。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、文本格式

class1 90
class2 56
class1 87
class1 76
class2 88
class1 95
class1 74
class2 87
class2 67
class2 77

二、代码如下

package com.scala
 
 
 
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
/**
 * scala版本的groupTopN
 */
object GroupTopN {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("groupByTopN").setMaster("local[1]")
    //获取context
    val sc = new SparkContext(conf)
    //加载到内存RDD
    val scores = sc.textFile("score.txt", 1)
    //转换成为kv格式，方便分组操作
    val scoresMap = scores.map(x => {
      val al = x.split(" ")
      (al(0), al(1).toInt)
    })
    //分组
     val paris=scoresMap.groupByKey()
     //sort进行排序
     val result=paris.map(x=>(x._1,x._2.toList.sorted(Ordering.Int.reverse)))
        //遍历取值
     result.foreach(x =>{
       println("01 "+x._1)
       //前包后不包
       println("02 "+x._2.slice(x._2.length-4, x._2.length))
 
       })
 
//第二种方式：不建议使用
 
//     println(res)
//     def res():Any=result.foreach(x=>{
//       (x._1,x._2.toList.sorted)
////       var lists2=List(2)//必须使用变量
////       for(score <-  x._2){
////       lists2=  lists2.:+(score.toInt)
////             println(lists2)
////       }
////       println("集合是："+lists2)
////       l.sorted(Ordering.Int.reverse)
////*/    
//     })
 
  }
}