spark之sortBy和sortByKey

最新推荐文章于 2023-08-17 06:49:29 发布

李东要努力

最新推荐文章于 2023-08-17 06:49:29 发布

阅读量1.3k

点赞数 1

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/weixin_45034355/article/details/103276729

版权

本文介绍了Spark中用于排序的sortBy和sortByKey函数。sortBy适用于标准RDD的排序，从Spark 0.9.0开始引入；而sortByKey则针对PairRDD，按Key进行字母表顺序排序。文中通过实例展示了两种函数的使用方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在很多应用场景都需要对结果数据进行排序，Spark中有时也不例外。在Spark中存在两种对RDD进行排序的函数，分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序，它是从Spark 0.9.0之后才引入的（可以参见SPARK-1063）。而sortByKey函数是对PairRDD进行排序，也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进行说明。

sortBy函数

数据源:

hello you
hello me
hello you

scala代码：

object SparkWordCount {
  def main(args: Array[String]): Unit = {
    //spark执行入口
    val sc = new SparkContext(new SparkConf().setMaster("local").setAppName("SparkWordCount"))
    //读取数据源,创建RDD
    val lines: RDD[String] = sc.textFile("E:\\wordcount.txt")
    //flatMap:按照空格切分并压平，打散成一个一个再组合成一个对象。map：将单词和1组合，组成一个元组
    val data: RDD[(String, Int)] = lines.flatMap(_.sp

最低0.47元/天解锁文章