spark--actions算子--takeOrdered

最新推荐文章于 2022-12-16 20:37:07 发布

原创最新推荐文章于 2022-12-16 20:37:07 发布 · 262 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #actions #takeOrdered

spark 专栏收录该内容

30 篇文章

订阅专栏

本文介绍了一个使用 Apache Spark 的 takeOrdered 方法进行数据排序的例子。通过创建一个包含字符串的列表，并使用 Spark 的 parallelize 方法将其转换为 RDD，然后演示了如何根据默认的排序规则获取排序后的前三个元素。

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by liupeng on 2017/6/16.
  */
object A_takeOrdered {
  System.setProperty("hadoop.home.dir","F:\\hadoop-2.6.5")

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("takeOrdered_test").setMaster("local")
    val sc = new SparkContext(conf)
    //准备一下数据
    val nameList: List[String] = List("c", "d", "a", "e", "f", "k")
    val numbers = sc.parallelize(nameList)
    //基于内置的排序规则或者自定义的排序规则排序，返回前n个元素
    val num = numbers.takeOrdered(3)
    for (x <- num) {
      println(x)
    }
  }
}

运行结果：

a
c
d