Spark中实现TOP N (Scala版本)

最新推荐文章于 2022-10-22 22:10:44 发布

原创最新推荐文章于 2022-10-22 22:10:44 发布 · 2.5k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#spark

Spark Core 专栏收录该内容

27 篇文章

订阅专栏

本文介绍了一种利用Apache Spark框架实现的数据处理方案，具体演示了如何读取HDFS中的数据文件，并通过一系列转换操作（包括map、sortByKey、take等）来找出文件中数值最大的三个数。此方案适用于大数据环境下快速获取数据集中的最高值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package Basic

import org.apache.spark.{SparkConf, SparkContext}

/**
* Created by tg on 10/25/16.
*/
object Top3 {
def main(args: Array[String]): Unit = {
val conf=new SparkConf().setAppName("Top3").setMaster("local")
val sc=new SparkContext(conf)
//从HDFS中读取数据
val lines=sc.textFile("hdfs://tgmaster:9000/in/nums2")

/**
* 1、通过map算子形成映射
* 2、通过sortByKey算子针对Key进行降序排列
* 3、通过map算子获取排序之后的数字
* 4、通过take算子获取排序之后的前3个数字
* 5、通过foreach算子遍历输出
*/
lines.map(m=>(m.toInt,m.toInt)).sortByKey(false)
.map(m=>m._1).take(3).foreach(println _)
}
}