spark中shuffle算子汇总

最新推荐文章于 2024-10-31 19:28:31 发布

Mate40Pro陶瓷白

最新推荐文章于 2024-10-31 19:28:31 发布

阅读量842

点赞数

分类专栏： spark源码剖析文章标签： spark

本文链接：https://blog.youkuaiyun.com/tiankonghewo/article/details/100080756

版权

版本信息
spark version 2.3.3
jdk 1.8
idea 2019
MacBook Pro

ShuffleDependency

我们先在idea中搜素一下ShuffleDependency

可以看到,生成的依赖是ShuffleDependency的RDD有

CoGroupedRDD
ShuffledRDD
SubtractedRDD

然后我们分别看下什么算子产生了这些RDD

ShuffledRDD

我们看到有4个算子

org.apache.spark.rdd.OrderedRDDFunctions#sortByKey
org.apache.spark.rdd.OrderedRDDFunctions#repartitionAndSortWithinPartitions
org.apache.spark.rdd.PairRDDFunctions#combineByKeyWithClassTag
org.apache.spark.rdd.PairRDDFunctions#partitio

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Mate40Pro陶瓷白

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

(二)常用Shuffle类算子：groupByKey、reduceByKey、aggregateByKey 和 sortByKey

someInNeed的博客

11-26

1429

在数据分析场景中，典型的计算类型分别是分组、聚合和排序。而 groupByKey、reduceByKey、aggregateByKey 和 sortByKey 这些算子的功能，恰恰就是用来实现分组、聚合和排序的计算逻辑。这些算子看上去相比其他算子的适用范围更窄，也就是它们只能作用（Apply）在 Paired RDD 之上，所谓 Paired RDD，它指的是元素类型为（Key，Value）键值对的 RDD。但是在功能方面，可以说，它们承担了数据分析场景中的大...

spark shuffle及shuffle类的算子

u013939918的博客

06-11

1539

Spark Shuffle操作的两个特点第一个特点，在Spark早期版本中，那个bucket缓存是非常非常重要的，因为需要将一个ShuffleMapTask所有的数据都写入内存缓存之后，才会刷新到磁盘。但是这就有一个问题，如果map side数据过多，那么很容易造成内存溢出。所以spark在新版本中，优化了，默认那个内存缓存是100kb，然后呢，写入一点数据达到了刷新到磁盘的阈值之后，就会将数据一点一点地刷新到磁盘。这种操作的优点，是不容易发生内存溢出。缺点在于，如果内存缓存过小的话，那么可能发生过多

参与评论您还未登录，请先登录后发表或查看评论

Spark 常用Shuffle算子汇总

sixgold的博客

04-20

2239

Spark Shuffle算子汇总一、去重二、聚合三、排序四、重分区五、集合或者表操作我们在写spark时候，shuffle算子我们格外小心，因为shuffle有时候会造成数据倾斜问题，那么我们在编写代码时，要十分清楚哪些是shuffle算子，在后续排查问题时能够快速定位。一、去重 def distinct() def distinct(numPartitions: Int) 二、聚合 de...

Spark 之 shuffle 相关的算子

py_tamir的博客

07-11

443

目录 1、repartition 类 2、byKey类 3、join类 4、使用建议 1、repartition 类 repartition类的操作：比如repartition、repartitionAndSortWithinPartitions、coalesce等。重分区: 一般会shuffle，因为需要在整个集群中，对之前所有的分区的数据进行随机、均匀地打乱，然后把数据放入下游新...

引起shuffle的几种算子

少年阿宏

12-04

757

//去重 def distinct() def distinct(numPartitions: Int) //聚合 def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)] def reduceByKey(partitioner: Partitioner, func: (V, V) => V): RDD[(K, V)] def groupBy[K](f: T => K, p: Partitioner):RDD[

引起 Shuffle 过程的 Spark 算子总结

代妈炼金术师

02-06

708

在 Apache Spark 中，shuffle 是一个关键的计算过程，它发生在某些算子执行过程中，这些算子要求跨分区进行数据重新组织或聚合。需要注意的是，shuffle 是一个相对昂贵的过程，因为它通常伴随着大量的数据传输和磁盘 I/O。：对键值对 RDD 中具有相同 key 的元素应用 reduce 函数，这需要先对不同分区的数据按 key 进行混排（shuffle）。：对每个 key 应用一个序列化的二元函数进行分区内聚合和跨分区合并，这也需要 shuffle 来完成跨分区的数据汇聚。

spark中的shuffle简述那些会导致shuffle的算子

m0_55685698的博客

10-12

1850

比如join、cogroup等join类的操作：两个rdd进行join，就必须将相同join key的数据，shuffle到同一个节点上，然后进行相同key的两个rdd数据的笛卡尔乘积。重分区: 一般会shuffle，因为需要在整个集群中，对之前所有的分区的数据进行随机，均匀的打乱，然后把数据放入下游新的指定数量的分区内。byKey类的操作：因为你要对一个key，进行聚合操作，那么肯定要保证集群中，所有节点上的，相同的key，一定是到同一个节点上进行处理。可以发现这段程序经历了shuffle。

Spark的算子

xieyichun_的博客

10-31

1823

分享了spark中的算子

Spark-core 行动算子（十）

weixin_45025143的博客

12-26

762

Action 算子详解上文我们讲过了常用的转换算子，本篇博客记录一下常用的行动算子，那我们开始啦。 Action算子和transformations算子的区别 transformations算子是惰性算子，也就是说它的触发条件不是代码执行到这，而是需要transformations算子的结果后才执行这个算子，transformations也为我们减少了很多非必要的开销。 Action算子是一个触发计算的算子，我们知道Spark是由很多的任务组成，而一个Action便形成了一个新的任务，也及.

Spark RDD 常用算子实例解析

我玩的很开心的博客

08-05

2155

Spark RDD 常用算子解析一、转换算子 Transformation（lazy）二、动作算子 Actions（non-lazy）一、转换算子 Transformation（lazy）二、动作算子 Actions（non-lazy）对于转换操作，RDD的所有转换都不会直接计算结果。 Spark仅记录作用于RDD上的转换操作逻辑，当遇到动作算子（ Action）时才会进行真正计算。 RDD常见转换算子如下表： ...

spark中哪些算子会导致shuffle

hzp666的博客

06-15

5357

spark中会导致shuffle操作的有以下几种算子、 1、repartition类的操作：比如repartition、repartitionAndSortWithinPartitions、coalesce等 2、byKey类的操作：比如reduceByKey、groupByKey、sortByKey等 3、join类的操作：比如join、cogroup等重分区: 一般会shuffle，因为需要在整个集群中，对之前所有的分区的数据进行随机，均匀的打乱，然后把数据放入下游新的指定数量的分区内 byKey类

Spark的shuffle算子

weixin_41831890的博客

03-05

221

Spark的shuffle算子转载转载 https://blog.youkuaiyun.com/gegeyanxin/article/details/85038525

Spark源码-spark算子-2-shuffle类算子

m0_37817767的博客

08-17

705

spark源码、spark算子

Spark中会导致shuffle操作的几种算子

qq_41982570的博客

03-04

717

Spark中会导致shuffle操作的几种算子

shuffle类算子及其弊端

自律

12-09

958

尽量避免使用shuffle类算子 　　如果有可能的话，尽量避免使用shuffle类算子。因为Spark作业运行过程中，最消耗性能的地方就是shuffle过程。shuffle过程，就是将分布在集群中多个节点上的同一个key，拉取到同一个节点上，进行聚合或join等操作。比如reduceByKey、join等算子，都会触发shuffle操作。 shuffle过程中，各个节点上的相同key都会先写入本地磁盘文件中，然后其他节点需要通过网络传输拉取各个节点上的磁盘文件中的相同key。而且相同key都拉取到同一个节点

Spark Shuffle详解

snail_gesture的博客

03-04

7557

一：到底什么是Shuffle？ Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算。二：Shuffle可能面临的问题？运行Task的时候才会产生Shuffle（Shuffle已经融化在Spark的算子中了）。 1，数据量非常大，从其他各台机器收集数据占用大量网络。 2，数据如何分类，即如何Partit

Spark性能调优之shuffle原理

李献计的博客

07-01

874

shuffle原理概述：哪些情况下，spark会发生shuffle？ spark中，以下几个算子会发生shuffle： groupByKey、reduceByKey、countByKey、join 等等什么是shuffle？ groupByKey 就是把分散在集群上各个节点上的同一个key的数据，对应的values，集中到集群中同一个节点上。更准确的说，是集中到一个节点的一个executor的...

spark shuffle算子

dymkkj的专栏

02-24

1310

MapReduce 基于MapReduce编程思想的spark运行程序，仍然是以先运行map端程序，将map程序处理的结果溢写到磁盘，然后执行reduce端程序进行shuffle操作，对map端处理结果进行处理，得到最终结果。 spark driver端将程序创建成job后，通过DAGSchduler将其转换为DAG，然后根据shuffle算子，将其切分为多个stage，stage保证多个任务，形...

spark的常用算子