Transformation算子，action算子，产生shuffle的算子

最新推荐文章于 2025-05-12 11:30:21 发布
最新推荐文章于 2025-05-12 11:30:21 发布
阅读量1.3k 收藏 9
点赞数 7
CC 4.0 BY-SA版权
分类专栏： spark 文章标签： spark 算子
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tclwh123/article/details/85015264
本文详细介绍了Spark中Transformation和Action的官方文档方法集合，包括map、filter、flatMap等Transformation方法，以及reduce、collect、count等Action方法。此外，还列举了Spark中会产生shuffle的算子，如distinct、reduceByKey等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Transformation的官方文档方法集合如下：

map
filter
flatMap
mapPartitions
mapPartitionsWithIndex
sample
union
intersection
distinct
groupByKey
reduceByKey
aggregateByKey
sortByKey
join
cogroup
cartesian
pipe
coalesce
repartition
repartitionAndSortWithinPartitions

Action的官方文档方法集合如下：

reduce
collect
count
first
take
takeSample
takeOrdered
saveAsTextFile
saveAsSequenceFile
saveAsObjectFile
countByKey
foreach

Spark会产生shuffle的算子

去重

distinct

聚合

reduceByKey
groupBy
groupByKey
aggregateByKey
combineByKey

排序

sortByKey
sortBy

重分区

coalesce
repartition

集合或者表操作

intersection
subtract
subtractByKey
join
leftOuterJoin

产生shuffle的转换算子
bing13692468的博客
07-14 2889
6.2.产生shuffle的transformation的算子 Transformation算子只要产生shuffle就会写入磁盘,而且会触动行动算子,分布聚合都是在shuffle之前,然后开始写入磁盘,全局聚合,是shuffle之后,是从本地磁盘中拉去出来,比如reduceByKey 6.2.1 sortBy 和sortByKey 排序 使用的RangePartition，在构建这个分区器是要采样，触发一次Action //sortby 参数一排序规则 参数二 默认升序 false 降序 sc.p
【大数据篇】Spark转换算子（Transformations）和行动算子（Actions）详解
林木森的博客
04-10 2215
Apache Spark 提供了大量的算子（操作），这些算子大致可以分为两类：转换算子（Transformations）和行动算子（Actions）。转换算子用于创建一个新的RDD，而行动算子则对RDD进行操作并产生结果。
spark之算子--transformation和action
qq_34382453的博客
12-20 826
摘要   spark的RDD具有延迟计算的特性，spark有两种操作算子，一种是transformation，一种是action。tranformation是来创建RDD的，它有可能从文件创建，也可能集合中创建，也可能依赖其它RDD创建。当算子为transformation的时候，spark并不执行计算操作，只有当遇到action算子的时候才开始计算。这就是transformation的lazy特...
转换算子和行动算子的区别
最新发布
m0_66791933的博客
05-12 234
转换算子（Transformation）和行动算子（Action）是Spark中RDD（弹性分布式数据集）操作的两种主要类型，它们在功能、执行方式以及返回结果上存在显著区别。转换算子：val newRDD = rdd.map(x => x * 2)，这里只是记录了映射操作，不会立即执行。行动算子：val count = rdd.count()，这里会立即计算RDD中的元素数量并返回结果。行动算子则是立即执行的，它们会触发Spark任务的调度和执行，并返回结果或输出到存储系统。
shuffle 调优之原理概述
coderlaw's study
12-23 819
一、什么情况下会发生Shuffle？在spark中，主要是以下几个算子： groupByKey reduceByKey reduceByKey Join 二、什么是shuffle？groupByKey，要把分布在集群各个节点上的数据中的同一个key，对应的values，都给集中到一块儿，集中到集群中同一个节点上，更严密一点说，就是集中到一个节点的一个executor的一个task中。然后呢，集中一
【Spark调优】：尽量避免使用shuffle类算子
weixin_30263073的博客
03-11 454
　　如果有可能的话，尽量避免使用shuffle类算子。因为Spark作业运行过程中，最消耗性能的地方就是shuffle过程。shuffle过程，就是将分布在集群中多个节点上的同一个key，拉取到同一个节点上，进行聚合或join等操作。比如reduceByKey、join等算子，都会触发shuffle操作。 shuffle过程中，各个节点上的相同key都会先写入本地磁盘文件中，然后其他...
Spark（4）RDD编程中的transformation算子和action算子使用与区别详解
weixin_43230682的博客
08-04 2399
前言 在上一篇文章中我们介绍了什么是RDD，以及RDD的属性、特征、依赖关系和缓存机制等等： Spark（3）架构原理、运行流程、RDD 那么，本文继续重点介绍一下RDD两类算子的使用。 一、编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFil
RDD—Transformation算子
JStana的博客
11-25 961
RDD-Transformation 算子
spark中的transformation算子详解（需要进行shuffle的算子）（二）--- 图解+案例+源码分析
weixin_45484707的博客
09-21 1083
shuffle算子 1、cogroup算子：（协分组、或者称为联合分组） （1）group与cogroup： ①group：是将一个RDD里面的多个分区中的key相同的数据，通过shuffle进入到同一个分区的同一组中； ②cogroup：是将两个或多个RDD联合起来，通过shuffle将key相同的数据进入到同一个分区的同一个组中；得到的结果是一个RDD； （2）cogroup的返回值： ①经过cogroup返回的新的RDD是一个对偶元组，key相同的value不是放入一个迭代器，而是两个或多个迭代器中；
Spark_Transformation和Action算子
weixin_42947670的博客
09-06 840
Transformation 和 Action 常用算子 一、Transformation         1.1 map         1.2 filter         1.3 flatMap      &nbs
转换算子(TransFormation)和执行算子(Action)
孤独の根号三
03-30 2192
目录:一、转换算子(TransFormation)二、执行算子(Action) 一、转换算子(TransFormation) func:function map(func) 返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成 mapPartitions(func) 类似于map，但独立地在RDD的每一个分片上运行，因此在类型为T(泛型)的RDD运行时， func的函数必须是...
RDD：常用Transform算子和Action算整理
qq_36996018的博客
11-17 1085
RDD常用算子
Spark，总结和帮助记忆常用action算子和Transformation算子
hhR888888的博客
02-17 867
最近在学习spark，我总结一下我在spark学习中，常用的action算子和Trans'formation算子 还有就是把有相似功能的算子写在一起方便我们记忆。
spark会产生shuffle的算子
Lxjyh99的博客
12-14 2646
去重 def distinct() def distinct(numPartitions: Int) 聚合 def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)] def reduceByKey(partitioner: Partitioner, func: (V, V) => V): RDD[(K, V)...
PySpark 基础之 Transformation算子和Action算子
不忘初欣丶的博客
04-05 1175
spark算子，常用的transformation算子和action算子
Spark算子
weixin_52163399的博客
05-02 1647
一、Transformation算子 1.1 产生shuffle的算子： groupBy：按照指定字段进行分组，生成RDD元素类型是KV键值对。 distinct：去重。 coalesce：增大分区时需设置shuffle为true，如果减少分区，建议使用coalesce，减少分区使用coalesce可以避免shuffle操作，提高线程的利用率 repartition：可增多也可以减少分区，会产生shuffle。 sortBy：按照指定字段进行排序，底层采用RangeParititioner分区器 in
spark中哪些算子会导致shuffle
hzp666的博客
06-15 5409
spark中会导致shuffle操作的有以下几种算子、 1、repartition类的操作：比如repartition、repartitionAndSortWithinPartitions、coalesce等 2、byKey类的操作：比如reduceByKey、groupByKey、sortByKey等 3、join类的操作：比如join、cogroup等 重分区: 一般会shuffle，因为需要在整个集群中，对之前所有的分区的数据进行随机，均匀的打乱，然后把数据放入下游新的指定数量的分区内 byKey类
mysql中on与where的区别
qq_43597141的博客
09-29 286
Mysql中on与where的区别on的使用where的使用 on的使用 on的操作时基于前面的表进行操作 where的使用 where的使用时基于前面的表进行查询后生成的临时表进行的数据过滤 例如 select * from a left join b on a.id=b.id where a.id=15 where 的操作是在a表与b表进行关联后的临时表进行操作 可能数据什么都没有 但是 on的操作回保留a表中的数据 ...
spark shuffle特点和导致shuffle的算子
萧念的博客
03-01 5233
Spark Shuffle操作的两个特点 第一个特点， 在Spark早期版本中，那个bucket缓存是非常非常重要的，因为需要将一个ShuffleMapTask所有的数据都写入内存缓存之后，才会刷新到磁盘。但是这就有一个问题，如果map side数据过多，那么很容易造成内存溢出。所以spark在新版本中，优化了，默认那个内存缓存是100kb，然后呢，写入一点数据达到了刷新到磁盘的阈值之后，就会将...
Spark算子头歌
03-26
Apache Spark 提供了两种主要类型的算子：转换算子（Transformation）和行动算子（Action）。 - 转换算子用于定义新的 RDD 或 DataFrame/Dataset 的逻辑关系[^2]。 - 行动算子则触发实际的计算并返回结果给驱动程序...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值