【Spark 应用】实现分组取topN

本文详细介绍了一种使用Scala和Apache Spark实现的groupTopN功能,该功能主要用于对大量数据进行分组并获取每组的前N项。通过具体代码示例,展示了如何将数据加载到Spark RDD中,转换为key-value格式,进行分组和排序,最终输出每组的前N个元素。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、文本格式

class1 90
class2 56
class1 87
class1 76
class2 88
class1 95
class1 74
class2 87
class2 67
class2 77

二、代码如下

package com.scala
 
 
 
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
/**
 * scala版本的groupTopN
 */
object GroupTopN {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("groupByTopN").setMaster("local[1]")
    //获取context
    val sc = new SparkContext(conf)
    //加载到内存RDD
    val scores = sc.textFile("score.txt", 1)
    //转换成为kv格式,方便分组操作
    val scoresMap = scores.map(x => {
      val al = x.split(" ")
      (al(0), al(1).toInt)
    })
    //分组
     val paris=scoresMap.groupByKey()
     //sort进行排序
     val result=paris.map(x=>(x._1,x._2.toList.sorted(Ordering.Int.reverse)))
        //遍历取值
     result.foreach(x =>{
       println("01 "+x._1)
       //前包后不包
       println("02 "+x._2.slice(x._2.length-4, x._2.length))
 
       })
 
//第二种方式:不建议使用
 
//     println(res)
//     def res():Any=result.foreach(x=>{
//       (x._1,x._2.toList.sorted)
////       var lists2=List(2)//必须使用变量
////       for(score <-  x._2){
////       lists2=  lists2.:+(score.toInt)
////             println(lists2)
////       }
////       println("集合是:"+lists2)
////       l.sorted(Ordering.Int.reverse)
////*/    
//     })
 
  }
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值