[Spark应用]-- 实现分组取topN

最新推荐文章于 2025-03-19 18:01:38 发布

oo寻梦in记

最新推荐文章于 2025-03-19 18:01:38 发布

阅读量5.4k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Apache Spark 文章标签： spark scala

本文链接：https://blog.youkuaiyun.com/high2011/article/details/51584617

Apache Spark 专栏收录该内容

137 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍如何在Spark中使用Scala实现数据分组后，每个分组内取出TopN条记录的方法，涵盖文本格式说明及核心代码展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、文本格式

class1 90
class2 56
class1 87
class1 76
class2 88
class1 95
class1 74
class2 87
class2 67
class2 77

二、直接献上代码

package com.scala



import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
/**
 * scala版本的groupTopN
 */
object GroupTopN {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("groupByTopN").setMaster("local[1]")
    //获取context
    val sc = new SparkContext(conf)
    //加载到内存RDD
    val scores = sc.textFile("score.txt", 1)
    //转换成为kv格式，方便分组操作
    val scoresMap = scores.map(x => {
      val al

了解本专栏