Spark中 sortByKey被划分到transformation中，却有action操作原因

最新推荐文章于 2024-11-05 12:10:41 发布
最新推荐文章于 2024-11-05 12:10:41 发布
阅读量1.3k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wuxintdrh/article/details/82655791
本文解析了Spark中sortByKey操作为何会触发新的Job。实际上，此Job主要用于评估数据分布情况，为后续排序操作提供依据，并非直接进行排序。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天跑一个任务， 在spark history Web UI中，sortByKey会触发一个job

这里写图片描述

？？？sortByKey不是transform吗？

原因： Spark的sortBy，sortByKey会触发一个新的任务，这个Job是用于评估数据分布，评估结果用于后续的排序操作，并不是真正的排序操作。
这里写图片描述

[Spark基础]-- spark的transformation和action算子(基本操作)
欢迎来到我的博客，一起探索代码里的世界！
08-23 2853
一、transform操作 1、map(func)  返回一个新的分布式数据集，由每个原元素经过func函数处理后的新元素组成  2、filter(func)  返回一个新的数据集，由经过func函数处理后返回值为true的原元素组成  3、flatMap(func)  类似于map，但是每一个输入元素，会被映射为0个或多个输出元素，(因此，func函数的返回值是一个seq，而不是单一元素)  4...
万字详解：云原生AI/大数据生态中Spark分布式数据处理框架的深度解析
最新发布
AI天才研究院
04-13 572
1.1 内存计算引擎与性能突破 Apache Spark作为一款专为大规模数据处理设计的分布式计算框架，其最显著的优势在于内存计算能力。与传统Hadoop MapReduce将中间结果写入磁盘不同，Spark允许数据在内存中直接迭代计算，使得批处理速度提升最高达100倍（内存模式）或10倍（磁盘模式）。例如，某金融机构使用Spark处理1TB交易数据时，MapReduce需数小时完成的任务，Spark在内存中仅需数分钟完成。1.2 多范式统一处理架构 Spark通过分层API设计实现了多数据处理的范式统一：
Spark中 转换算子sortBy和sortByKey中为何会触发Action
是故事啊~关注我~
04-09 687
sortBy 该函数会对原数据进行Shuffle操作，里面用到了RangePartitioner
关于Spark中 sortByKey被划分到transformation中，却有action操作原因
chuhui1765的博客
08-31 236
注意有可能会成为面试题。 在Spark 1.4 中 关于sortByKey 源码如下： /** * Sort the RDD by key, so that each partition contains a sorted range of the ...
sortBy是一个action
siyueabc的博客
05-20 272
val conf = new SparkConf().setAppName("ScalaWordCount").setMaster("local[4]") //创建spark执行的入口 val sc = new SparkContext(conf) //指定以后从哪里读取数据创建RDD（弹性分布式数据集） val lines: RDD[String] = sc.textFile("/D:/a.txt") //切分压平 val words: RDD[S...
spark笔记（2）——sortByKey()算子为何会触发job
incredibleWu的博客
08-22 1126
问题 在执行spark任务中，发现sortByKey()算子会触发一个新的job 但在spark中，sortByKey()算子归属于Transformations列表中，而只有当算子是action的时候，才会触发新的job，那么sortByKey()为何会触发新的任务呢？让我们去看看sortByKey()的算子源码。。。。 原因很明确了，因为在sortByKey()...
sortBy如何排序和如何触发Action
weixin_48109576的博客
08-17 1240
在sortby中默认传入排序规则是 ascending true.升序 第一个参数是一个函数，该函数的也有一个带T泛型的参数，返回类型和RDD中元素的类型是一致的 第三个参数是numPartitions，该参数决定排序后的RDD的分区个数，默认排序后的分区个数和排序之前的个数相等，即为this.partitions.size。 有一个隐士转换,可以导入隐士转换也可以按照元组进行排序 val value1: RDD[(String, Int, Double)] = value.sortBy(x =&...
Spark作业调度中stage的划分
蔡政洁的博客
05-11 3211
目录（1）Spark作业调度（2）RDD依赖关系（3）Stage的划分 （1）Spark作业调度 （2）RDD依赖关系 （3）Stage的划分
spark中pyspark ：add
m0_62008384的博客
06-25 791
RDD:(弹性分布式数据集合 ) spark的计算核心，spark采用rdd管理数据RDDRDD是spark的一种数据模型（规定数据的存储结构和计算方法）python中的数据模型list [] 可以重复存储数据 appendset{} 不允许重复存储RDD的模型可以对内存数进行共享管理分布式数据可以在多台服务器上同时计算执行弹性可以根据计算的需求将数据进行分区拆分，本质就是将数据分成多份rdd中封装了各种算子方便进行计算，主要分为两类转化算子 对rdd数据进行转化计算得到新的rdd。
Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
Alex的博客
12-18 1027
Spark算子主要划分为两类：transformation和action，并且只有action算子触发的时候才会真正执行任务。还记得之前的文章《Spark RDD详解》中提到，Spark RDD的缓存和checkpoint是懒加载操作，只有action触发的时候才会真正执行，其实不仅是Spark RDD，在Spark其他组件如SparkStreaming中也是如此，这是Spark的一个特性之一。像我们常用的算子map、flatMap、filter都是transformation算子，而collect、cou
Spark算子：RDD行动Action操作学习–countByKey、foreach、sortBy
chen
12-28 524
package chen import org.apache.spark._ object rdd_test { System.setProperty ("hadoop.home.dir", "C:\\hadoop_home\\") def main(args: Array[String]) { /* * countByKey fo
srotByKey为什么会触发job
Lu_Xiao_Yue的博客
11-20 594
大家都只知道srotByKey是一个transformation算子，而transformation类型的算子是不触发Job的，但是有心的人会注意到，在我们调用sortByKey这个算子时 ，可以从UI界面看到，sortByKey竟然会触发Job 其实sortByKey 在执行时会对分区中的数据进行取样，把取样的数据再进行收集（collect），那么此时就会触发一个Job,具体的原因可以往下看源码...
spark之sortBy和sortByKey
weixin_45034355的博客
11-27 1321
在很多应用场景都需要对结果数据进行排序，Spark中有时也不例外。在Spark中存在两种对RDD进行排序的函数，分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序，它是从Spark 0.9.0之后才引入的（可以参见SPARK-1063）。而sortByKey函数是对PairRDD进行排序，也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进行说...
spark sortBy sortByKey实战详解
bitcarmanlee的博客
08-27 9325
日常工作中，排序是道绕过不过去的侃，我们每天都会面对各种各样的排序需求。那么在spark中如何排序呢？我们来看一些很有代表性的例子。 1.最简单的排序 假设有个RDD[Int]类型的数据，需要按数据大小进行排序，那这个排序算最简单的： sc.parallelize(Array(1,3,2,4,6,5)).sortBy(x => x).collect() 代码运行的结果： ...
sortBy和sortByKey区别
Romantic_sir的博客
11-27 2157
拿一个统计单词为例 sortBy： sortBy可以定义排序方式 object sortByTest{ def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("reduceTest") val sc = ...
Saprk排序
fighting
03-25 1271
1、基础排序算子sortBy和sortByKey 在Spark中存在两种对RDD进行排序的函数，分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序，它是从Spark0.9.0之后才引入的。而sortByKey函数是对PairRDD进行排序，也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进行说明。 1.1sortBy sortBy是在...
spark（SortBy与SortByKey）
TylerPY的博客
11-04 1906
sortBy函数 sortBy函数是在org.apache.spark.rdd.RDD类中实现的。 该函数有三个参数： 　　第一个参数是一个函数，该函数的也有一个带T泛型的参数，返回类型和RDD中元素的类型是一致的； 　　第二个参数是ascending，从字面的意思大家应该可以猜到，这参数决定排序后RDD中的元素是升序还是降序，默认是true，也就是升序； 　　第三个参数是numPartition...
RDD转换算子：排序算子：【sortBy、sortByKey】
一个大数据的爱好者
11-05 288
RDD排序算子：sortBy，sortByKey的介绍和用法举例
SparkRDD算子--sortByKey算子
寒暄的博客
08-03 664
语法 val newRdd = oldRdd.sortByKey([ascending], [numTasks]) ascending控制排序，true为升序，false为降序 numTasks表示分区数 源码 def sortByKey(ascending : scala.Boolean = { /* compiled code */ }, numPartitions : scala.Int = { /* compiled code */ }) : org.apache.spark.rdd.RDD[sca
Spark算子详解：Transformation与Action操作
"Spark算子的详细使用方法涵盖了Spark中的Transformation和Action两类算子，以及它们的细分类型，包括Value型、Key-Value型的Transformation算子和Action算子。核心概念是RDD（弹性分布式数据集），它是Spark计算的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值