Transformation算子，action算子，产生shuffle的算子

最新推荐文章于 2025-08-15 23:15:02 发布
原创 最新推荐文章于 2025-08-15 23:15:02 发布 · 1.3k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #算子

本文详细介绍了Spark中Transformation和Action的官方文档方法集合，包括map、filter、flatMap等Transformation方法，以及reduce、collect、count等Action方法。此外，还列举了Spark中会产生shuffle的算子，如distinct、reduceByKey等。

Transformation的官方文档方法集合如下：

map
filter
flatMap
mapPartitions
mapPartitionsWithIndex
sample
union
intersection
distinct
groupByKey
reduceByKey
aggregateByKey
sortByKey
join
cogroup
cartesian
pipe
coalesce
repartition
repartitionAndSortWithinPartitions

Action的官方文档方法集合如下：

reduce
collect
count
first
take
takeSample
takeOrdered
saveAsTextFile
saveAsSequenceFile
saveAsObjectFile
countByKey
foreach

Spark会产生shuffle的算子

去重

distinct

聚合

reduceByKey
groupBy
groupByKey
aggregateByKey
combineByKey

排序

sortByKey
sortBy

重分区

coalesce
repartition

集合或者表操作

intersection
subtract
subtractByKey
join
leftOuterJoin

产生shuffle的转换算子
bing13692468的博客
07-14 2915
6.2.产生shuffle的transformation的算子 Transformation算子只要产生shuffle就会写入磁盘,而且会触动行动算子,分布聚合都是在shuffle之前,然后开始写入磁盘,全局聚合,是shuffle之后,是从本地磁盘中拉去出来,比如reduceByKey 6.2.1 sortBy 和sortByKey 排序 使用的RangePartition，在构建这个分区器是要采样，触发一次Action //sortby 参数一排序规则 参数二 默认升序 false 降序 sc.p
Spark（4）RDD编程中的transformation算子和action算子使用与区别详解
weixin_43230682的博客
08-04 2436
前言 在上一篇文章中我们介绍了什么是RDD，以及RDD的属性、特征、依赖关系和缓存机制等等： Spark（3）架构原理、运行流程、RDD 那么，本文继续重点介绍一下RDD两类算子的使用。 一、编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFil
spark之算子--transformation和action
qq_34382453的博客
12-20 842
摘要   spark的RDD具有延迟计算的特性，spark有两种操作算子，一种是transformation，一种是action。tranformation是来创建RDD的，它有可能从文件创建，也可能集合中创建，也可能依赖其它RDD创建。当算子为transformation的时候，spark并不执行计算操作，只有当遇到action算子的时候才开始计算。这就是transformation的lazy特...
shuffle 调优之原理概述
coderlaw's study
12-23 845
一、什么情况下会发生Shuffle？在spark中，主要是以下几个算子： groupByKey reduceByKey reduceByKey Join 二、什么是shuffle？groupByKey，要把分布在集群各个节点上的数据中的同一个key，对应的values，都给集中到一块儿，集中到集群中同一个节点上，更严密一点说，就是集中到一个节点的一个executor的一个task中。然后呢，集中一
【Spark调优】：尽量避免使用shuffle类算子
weixin_30263073的博客
03-11 474
　　如果有可能的话，尽量避免使用shuffle类算子。因为Spark作业运行过程中，最消耗性能的地方就是shuffle过程。shuffle过程，就是将分布在集群中多个节点上的同一个key，拉取到同一个节点上，进行聚合或join等操作。比如reduceByKey、join等算子，都会触发shuffle操作。 shuffle过程中，各个节点上的相同key都会先写入本地磁盘文件中，然后其他...
Spark算子
weixin_52163399的博客
05-02 1689
一、Transformation算子 1.1 产生shuffle的算子： groupBy：按照指定字段进行分组，生成RDD元素类型是KV键值对。 distinct：去重。 coalesce：增大分区时需设置shuffle为true，如果减少分区，建议使用coalesce，减少分区使用coalesce可以避免shuffle操作，提高线程的利用率 repartition：可增多也可以减少分区，会产生shuffle。 sortBy：按照指定字段进行排序，底层采用RangeParititioner分区器 in
RDD—Transformation算子
JStana的博客
11-25 993
RDD-Transformation 算子
Spark03-RDD01-简介+常用的Transformation算子
qq_31532983的博客
08-15 932
RDD介绍、常见的transformation算子
spark中的transformation算子详解（需要进行shuffle的算子）（二）--- 图解+案例+源码分析
weixin_45484707的博客
09-21 1124
shuffle算子 1、cogroup算子：（协分组、或者称为联合分组） （1）group与cogroup： ①group：是将一个RDD里面的多个分区中的key相同的数据，通过shuffle进入到同一个分区的同一组中； ②cogroup：是将两个或多个RDD联合起来，通过shuffle将key相同的数据进入到同一个分区的同一个组中；得到的结果是一个RDD； （2）cogroup的返回值： ①经过cogroup返回的新的RDD是一个对偶元组，key相同的value不是放入一个迭代器，而是两个或多个迭代器中；
Spark_Transformation和Action算子
weixin_42947670的博客
09-06 873
Transformation 和 Action 常用算子 一、Transformation         1.1 map         1.2 filter         1.3 flatMap      &nbs
spark中哪些算子会导致shuffle
hzp666的博客
06-15 5475
spark中会导致shuffle操作的有以下几种算子、 1、repartition类的操作：比如repartition、repartitionAndSortWithinPartitions、coalesce等 2、byKey类的操作：比如reduceByKey、groupByKey、sortByKey等 3、join类的操作：比如join、cogroup等 重分区: 一般会shuffle，因为需要在整个集群中，对之前所有的分区的数据进行随机，均匀的打乱，然后把数据放入下游新的指定数量的分区内 byKey类
mysql中on与where的区别
qq_43597141的博客
09-29 300
Mysql中on与where的区别on的使用where的使用 on的使用 on的操作时基于前面的表进行操作 where的使用 where的使用时基于前面的表进行查询后生成的临时表进行的数据过滤 例如 select * from a left join b on a.id=b.id where a.id=15 where 的操作是在a表与b表进行关联后的临时表进行操作 可能数据什么都没有 但是 on的操作回保留a表中的数据 ...
spark会产生shuffle的算子
Lxjyh99的博客
12-14 2677
去重 def distinct() def distinct(numPartitions: Int) 聚合 def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)] def reduceByKey(partitioner: Partitioner, func: (V, V) => V): RDD[(K, V)...
Spark会产生shuffle的算子
这里将承载一段最初的记忆
11-12 4584
Spark会产生shuffle的算子 去重 def distinct() def distinct(numPartitions: Int) 聚合 def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)] def reduceByKey(part...
spark shuffle特点和导致shuffle的算子
萧念的博客
03-01 5251
Spark Shuffle操作的两个特点 第一个特点， 在Spark早期版本中，那个bucket缓存是非常非常重要的，因为需要将一个ShuffleMapTask所有的数据都写入内存缓存之后，才会刷新到磁盘。但是这就有一个问题，如果map side数据过多，那么很容易造成内存溢出。所以spark在新版本中，优化了，默认那个内存缓存是100kb，然后呢，写入一点数据达到了刷新到磁盘的阈值之后，就会将...
判断一个算子是否会导致shuffle的方法
微电子学与固体电子学-俞驰
08-01 531
scala> val a = sc.parallelize(Array(1,2,3)).distinct a: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[3] at distinct at <console>:24 scala> a.toDebugString res0: String = (16) MapPartitionsRDD[3] at distinct at <console>:24 [] | S...
Spark优化(四)：尽量避免使用shuffle类算子
Winner941112的博客
09-29 4382
尽量避免使用shuffle类算子 如果有可能的话，要尽量避免使用shuffle类算子。因为Spark作业运行过程中，最消耗性能的地方就是shuffle过程。shuffle过程，简单来说，就是将分布在集群中多个节点上的同一个key拉取到同一个节点上，进行聚合或join等操作。比如reduceByKey、join等算子，都会触发shuffle操作。 shuffle过程中，各个节点上的相同key...
Spark中Transformation算子和Action算子详细介绍
知其然，知其所以然
01-23 1171
美图欣赏： 一.Transformation算子 RDD中的所有转换都是延迟加载的，也就是说，它们并不会直接计算结果。相反的，它们只是记住这些应用到基础数据集（例如一个文件）上的转换动作。只有当发生一个要求返回结果给Driver的动作时，这些转换才会真正运行。这种设计让Spark更加有效率地运行。 转换 含义 m...
总结常用的Transformation算子和Action算子，及基本用法
Lu_Xiao_Yue的博客
11-11 2563
只有是Action时，才会执行立即操作。 Transformation是 lazy的操作，不会立即执行，执行Transformation的算子时，会返回一个新的RDD,依赖上一个RDD transformation： 1、sortBy ： 对于RDD的是非元组型，rdd1.soreBy(x=&gt;x),元组型按value排序 rdd.soreBy(_._2)（进行shuffle） 2、sor...
spark机器算子项目
最新发布
11-01
- **Transformation算子**：惰性操作，用于数据转换（如map、filter），不立即执行计算。 - **Action算子**：触发实际计算（如collect、reduce），返回结果或输出数据[^1]。 在Spark项目中，算子广泛应用于大数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值