Spark之takeOrderd算子

最新推荐文章于 2024-10-31 19:28:31 发布
原创 最新推荐文章于 2024-10-31 19:28:31 发布 · 865 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客介绍了Spark中takeOrdered函数，它与take类似，但返回结果顺序相反。还通过代码示例展示了top函数按降序排序，takeOrdered函数按升序排序，如对数组操作时呈现出不同的排序结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

takeOrdered：

def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]

takeOrdered函数与take类似，它返回结果的顺序与take函数相反。

 

 

scala> val a = sc.parallelize(Array(2,5,6,8,9))
a: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[83] at parallelize at <console>:24

scala> a.top(1)
res49: Array[Int] = Array(9)

scala> a.top(4)
res50: Array[Int] = Array(9, 8, 6, 5)

scala> a.top(5)
res51: Array[Int] = Array(9, 8, 6, 5, 2)

scala> a.takeOrdered(2)
res52: Array[Int] = Array(2, 5)

scala> a.takeOrdered(4)
res53: Array[Int] = Array(2, 5, 6, 8)

 

top（num）按降序排序，而takeOrdered（num）按升序排序

Spark中mapPartitions算子详解介绍
优快云 精品推荐
08-16 807
上一节我们讲到如何使用map算子对RDD中的数据进行映射处理，但是map函数有个缺点就是不能够批处理，他是每次只处理一个元素，而本节使用的 `mapPartitions` 进行的类似于批处理，每次处理整个分区的数据。
Spark算子[14]：top、takeOrdered 源码实例详解
行走的树
12-15 1652
takeOrdered源码/** * 从指定的RDD中返回前k个(最小)元素的集合，底层排序，和top相反。 * * @note 该方法仅在预期的数组很小的情况下使用，因为所有的数据都被加载到驱动程序的内存中。 */def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T] = withScope { if (num ==
Spark行动算子(Action)--takeOrdered算子
寒暄的博客
08-04 477
语法 Rdd. takeOrdered(n) 源码 def takeOrdered(num : scala.Int)(implicit ord : scala.Ordering[T]) : scala.Array[T] = { /* compiled code */ } 作用 返回RDD中的前n个元素组成的数组。 例子 package com.day1 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkCon
Spark核心之top、take和takeOrdered
热门推荐
LMR的博客
06-02 1万+
top、take和takeOrdered三种算子都是Spark中的Action操作，当原始数据集太大时，可以采用上述三个算子展示数据，下面分别介绍三个算子： （1）takeOrdered算子 takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T] 关于top算子在源码中的解释如下： /** * Returns the...
spark sortByKey subtractByKey take takeOrdered等函数使用例子
lovemelovemycode的专栏
01-20 3458
package com.latrobe.spark import org.apache.spark.{SparkContext, SparkConf} /** * Created by spark on 15-1-19. * 根据key对K-V类型的RDD进行排序获得新的RDD */ object SortByKey { def main(args: Array[String]) {
Spark RDD.takeOrdered倒序取数
RonieWhite的博客
04-15 1022
首先观察RDD中takeOrdered的源码，num是取数个数，ord则是一个实现了Ordering特征的隐式参数。 scala在调用包含有隐式参数块的方法时，将首先查找可以直接访问的隐式定义和隐式参数，也就是说，当我们在调用takeOrdered(n)时，ord即为Ordering特征的默认实现，观察Ordering源码，以Int类型为例，排序方式为： 即为顺序排序。 因此，要实现倒序取数很简单，ord传入一个倒序排序的Ordering实现类即可。以下是相关示例代码： import or
Spark SQL DataFrame 算子
2401_84052244的博客
07-31 3377
DataFrame 算子与 SQL 查询语句之间，并没有优劣之分，他们可以实现同样的数据应用，而且在执行性能方面也是一致的。因此，你可以结合你的开发习惯与偏好，自由地在两者之间进行取舍。DataFrame 本身支持的算子之外，在功能上，SQL 完全可以实现同样的数据分析。给定 DataFrame，你只需通过 createTempView 或是 createGlobalTempView 来创建临时表，然后就可以通过写 SQL 语句去进行数据的探索、倾斜、转换与分析。
Spark的算子
最新发布
xieyichun_的博客
10-31 1895
分享了spark中的算子
Spark常用RDD算子：transformation转换算子以及action触发算子
m0_70882914的博客
10-10 1919
transformation 转换算子对RDD数据进行转化得到新的RDD，定义了一个线程任务。常见：map、filter、flatMap、reduceByKey、groupByKey、sortByKeyaction 执行算子触发计算任务，让计算任务进行执行，得到结果。触发线程执行的。常见：foreach、first、count、reduce、saveAsTextFile、collect、take。
Spark常用算子之行为算子
糊里糊涂走进大数据的小菜鸡
01-03 654
Spark常用算子之行为算子 foreach // foreach 没有返回值 会触发job // 需要接收一个函数f：参数为RDD中的泛型，返回值类型为Unit // 1、读取students、scores数据 val stuRDD: RDD[String] = sc.textFile("Spark/data/stu/students.txt") // foreach 没有返回值 会触发job // 需要接收一个函数f：参数为RDD中的泛型，返回值类型为Unit
RDD行动Action操作(2)–take、top、takeOrdered
cloud-2014的专栏
09-14 829
take def take(num: Int): Array[T] take用于获取RDD中从0到num-1下标的元素，不排序。 scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3))rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[40] at makeRDD at
spark两个节点2.2GB数据的orderby算子测试（上）
weixin_39216439的博客
05-06 1007
我们的任务就是分析orderby算子的流程，并用数据验证，最终总结优化方法。 spark的orderby算法，有点像桶排序，有三个阶段： 1. 抽样确定bound（水塘抽样算法，随机从n个元素中选择k个，但抽样过程中无法知道n） 2. 根据bound进行shuffle write 3. shuffle read 并在内存中排序 2.2GB数据集共5百万条记录保存在master...
spark常用RDD算子 - take()，takeOrdered()，top()，first()
小哇
07-28 3738
take()，takeOrdered()，top() 返回一个列表，first()返回一个值 take def take(num: Int): Array[T] take用于获取RDD中从0到num-1下标的元素，不排序。 top def top(num: Int)(implicit ord: Ordering[T]): Array[T] top函数用于从RDD中，按照默认（降序）或者指定的排序规则，返回前num个元素。 takeOrdered def takeOrdered(n..
数据算法（TopN） :Spark+Spark(takeOrdered)实现（非键唯一情况）
acm160920007的博客
08-09 858
package cn.weida.Spark.TopNNonUnique; import java.util.Collections; import java.util.Iterator; import java.util.List; import java.util.Map; import java.util.SortedMap; import java.util.TreeMap; imp...
Spark行动算子(Action)--take算子
寒暄的博客
08-04 1565
语法 Rdd. take(n) 源码 def take(num : scala.Int) : scala.Array[T] = { /* compiled code */ } 作用 返回RDD中的前n个元素。 例子 package com.day1 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object oper { def main(args: Array[String]
spark源码action系列-take
隔壁老杨的专栏
01-29 837
spark源码中关于top n的实现,spark action 中的take的实现代码.
Take 原理-源码(spark3.0)
啊李
09-01 320
take方法中有一个while循环，在首次循环中，会启动一个job来获取第一个分区的数据，如果第一个分区的数据已经满足了条件直接返回数组，如果第一个分区不满足条件，那么会再次循环；会通过partsScanned(会记录已经执行的分区数) 和RDD_LIMIT_SCALE_UP_FACTOR两个参数决定下次执行job会遍历哪些分区 /** * Take the first num elements of the RDD. It works by first scanning on...
Learning Spark 笔记(三) -- take和persist
BlockheadLS的博客
08-29 1392
4 . take(n)试图最小化访问分区，此操作并不一定以期待的顺序返回数据。 5 . 当持久化一个RDD的时候，计算这个RDD的节点会保存它们的分区。如果缓存了数据的节点出错了，Spark会在需要的时候重新计算丢失的分区。只有遇到action的时候才会真正的执行持久化操作。默认的持久化操作是将数据存放在JVM中作为非序列化对象。如下面wordcount的例子：val lines = sc.
spark--actions算子--takeOrdered
书灯的博客
07-13 249
基于内置的排序规则或者自定义的排序规则排序，返回前n个元素
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值