spark中的各种算子分类

最新推荐文章于 2024-11-02 23:25:34 发布
最新推荐文章于 2024-11-02 23:25:34 发布
阅读量1.2k 收藏 3
点赞数 2
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38842096/article/details/84311242
本文深入解析Spark中的Transformation、Action、Shuffle算子及其在Stage和Job触发中的作用，包括union、reduceByKey、groupBy等关键算子的使用场景与功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、Trasformtion算子
union、reduceByKey、groupBy、join、map、mapPartition
、cogroup、parallelize、textFile、leftoutJoin、flatMap、coalesce、Repartition

2、Action算子
count、take、collect、foreach、foreachPartition、saveAsTextFile、ditinct、
first、reduce

3、shuffle算子
reduceByKey、groupBy、join、coalesce、Repartition、leftoutJoin、cogroup

4、产生Stage划分的算子
reduceByKey、groupBy、join、coalesce、Repartition、leftoutJoin、cogroup

5、触发Job算子

count、take、collect、foreach、foreachPartition、saveAsTextFile、ditinct、
first、reduce

s小菜鸟
关注
Spark 中算子功能与分类介绍
warrior_zhang的专栏
01-12 4503
最近看了一些SPARK资料，还没有系统性的整理，这里先归纳一下spark中算子的总结。如有什么错误或者不妥之处，希望大神们指出，相互交流共同进步！！哈哈哈 算子的定义：RDD中定义的函数，可以对RDD中的数据进行转换和操作。 下面根据算子类型的分类进行总结：
Spark32个常用算子总结
热门推荐
Fortuna_i的博客
08-09 4万+
官方文档上列举共有32种常见算子，包括Transformation的20种操作和Action的12种操作。 （注：以下截图为windows下运行结果） Transformation： 1.map map的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize（1 to 10， 3），ma...
spark算子详解------spark算子分类
smiles13的博客
12-03 587
本文首发自个人博客：https://blog.smile13.com/articles/2018/12/02/1543738098914.html 1.spark算子分类 1.1Transformation算子 Transformation算子不触发提交作业,完成作业中间处理过程。Transformation算子又分为如下两类： 1.Value数据类型的Transformation算子：针...
Spark的算子的分类
kgars1的博客
10-16 1941
从大方向来说，Spark 算子大致可以分为以下两类:      1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 　　　Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。      2）Action 行动算子：
Spark算子分类详解
GSpinach的博客
07-12 649
@Date : 2019-07-12 @Author : Spinach | GHB @Link : http://blog.youkuaiyun.com/bocai8058 [TOC] 0 算子常见分类 从大方向来说，Spark算子大致可以分为以下两类: Transformation变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Transformation 操...
spark算子的分类
qq_43688472的博客
01-02 720
spark内置了非常多有用的算子（方法），通过对这些算子的组合就可以完成业务需要的功能，spark的编程归根结底就是对spark算子的使用，因此非常有必要对这些内置算子进行详细的归纳。 spark算子在大的方向上可以分为两类： 名称 说明 Transformation 变换、转换算子：不触发提交作业，只是完成作业中间过程处理；Transformation 操作是延迟计算的，也就是说...
（一）spark算子 分为3大类
weixin_30371875的博客
03-23 199
value类型的算子 处理数据类型为value型的算子（也就是这个算子只处理数据类型为value的数据），可以根据rdd的输入分区与输出分区的关系分为以下几个类型 （1）输入分区与输出分区一对一型 map型：对rdd的每个数据项，通过用户自定义的函数映射转换成一个新的rdd 上面4个方框表示4个rdd分区，当第一个方框中的rdd经过用户自定义的map函数从v1映射为v,1.这种操作只有...
Spark的算子
xieyichun_的博客
10-31 1906
分享了spark中的算子
Spark SQL DataFrame 算子
2401_84052244的博客
07-31 3378
DataFrame 算子与 SQL 查询语句之间，并没有优劣之分，他们可以实现同样的数据应用，而且在执行性能方面也是一致的。因此，你可以结合你的开发习惯与偏好，自由地在两者之间进行取舍。DataFrame 本身支持的算子之外，在功能上，SQL 完全可以实现同样的数据分析。给定 DataFrame，你只需通过 createTempView 或是 createGlobalTempView 来创建临时表，然后就可以通过写 SQL 语句去进行数据的探索、倾斜、转换与分析。
spark 常用算子大全（分类详细，图片解析）
BigData_Hubert的博客
09-25 1万+
scala 系列 spark 常用算子大全 scala 常用算子大全scala 系列前言思维导图 前言 上一篇博客已经给大家介绍了 scala OOP， 掌握了OOP 的知识后，就已经算是进入 scala 的门了。scala OOP基础是 spark 和 flink 的基础。 本篇博客将为大家带来 scala 高级扩展的介绍。主要包括模式匹配和正则表达式，此外还有异常处理、注解和高级类型的简单了解。 思维导图 ...
Spark常见算子总结
u010920561的博客
10-10 673
官方文档上列举共有32种常见算子，包括Transformation的20种操作和Action的12种操作。 内容自己用心整理，看我的就够了 Transformation： 1.map map的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize（1 to 10， 3），map函数执行10次，而...
spark 热门面试题 （算子）
GDDGHS_的博客
11-02 599
1，哪些是触发算子2，哪些是转换算子3，哪些算子能够触发shuffle过程coalesce(根据情况) join（ fullOuterJoin / leftOuterJoin / rightOuterJoin）触发算子和转换算子的功能以及作用。
Spark中的算子分类
单色冰灵的博客
03-06 318
Spark常见算子详解
weixin_42733117的博客
05-28 2797
groupByKey 和groupby 的区别是前者是确定以key为分组，所以只返回value的迭代器，程序上后者不确定以什么来分组，所以返回[(String,Int) (K,V)]定义：countByKey算子统计K-v类型的数据中的Key的次数，countByValue统计所有的value出现的次数，统计对象可以是K-v，也可以是List等。定义：rdd.aggregateByKey((初始化的值)(分区内迭代计算的逻辑)(分区间计算的逻辑))
【Spark】Spark的常用算子
weixin_46429290的博客
03-07 3201
使用给定的函数对 RDD 的元素进行聚合，seqOp 计算在分区中初始值到中间结果的聚合计算，而 combOp 在节点上对中间结果进行聚合。: 返回对输入 RDD 和参数 RDD 执行联合操作的结果，生成一个新的 RDD，不去重。: 返回对输入 RDD 和参数 RDD 执行交集操作的结果，生成一个新的 RDD。: 返回对输入 RDD 和参数 RDD 执行差集操作的结果，生成一个新的 RDD。: 返回对输入 RDD 和参数 RDD 执行笛卡尔积的结果，生成一个新的 RDD。
Spark常用算子介绍
olifchou的博客
11-13 6011
一、简介 Spark主要包含Transformation和Action两种算子。 Transformation算子 Transformation类算子一般都是懒操作的，即该过程并不提交Job作业，而是等到Action算子才会提交作业。主要包括：map、filter、flatMap、mapPartitions、mapPartitionsWithIndex、sample、union、intersection、distinct、groupByKey、reduceByKey、aggregateByKey、sort
spark的算子分类
最新发布
04-10
### Spark算子分类详解 Spark算子主要分为两大类：Transformation（转换）算子和Action（行动）算子。 #### Transformation（转换）算子 Transformation算子用于定义新的RDD，通过对现有RDD执行某些操作来创建新RDD。这些操作是惰性的，只有在遇到Action算子时才会触发实际计算[^2]。 常见的Transformation算子包括但不限于以下几种： 1. **map算子** - map算子会对RDD中的每一个元素应用指定的函数，并返回一个新的RDD。 - 示例代码： ```scala val rdd = sc.parallelize(List(1, 2, 3)) val mappedRdd = rdd.map(x => x * 2) ``` 2. **flatMap算子** - flatMap算子会将输入项映射成多个输出项并压平结果。 - 示例代码： ```scala val rdd = sc.parallelize(List("hello world", "hi")) val flatMappedRdd = rdd.flatMap(_.split(" ")) ``` 3. **filter算子** - filter算子会筛选满足条件的数据。 - 示例代码： ```scala val rdd = sc.parallelize(List(1, 2, 3, 4)) val filteredRdd = rdd.filter(_ % 2 == 0) ``` 4. **groupByKey算子** - groupByKey算子会按照键分组并将所有的值聚合在一起。 - 示例代码： ```scala val pairRdd = sc.parallelize(List(("a", 1), ("b", 2), ("a", 3))) val groupedRdd = pairRdd.groupByKey() ``` 5. **reduceByKey算子** - reduceByKey算子会在具有相同键的所有值上运行减少函数。 - 示例代码： ```scala val pairRdd = sc.parallelize(List(("a", 1), ("b", 2), ("a", 3))) val reducedRdd = pairRdd.reduceByKey((x, y) => x + y) ``` 6. **combineByKey算子** - combineByKey是一个通用的聚集算子，可以用来实现其他聚集算子如`reduceByKey`和`groupByKey`的功能[^1]。 - 示例代码： ```scala val pairRdd = sc.parallelize(List(("a", 1), ("b", 2), ("a", 3))) val combinedRdd = pairRdd.combineByKey( (v: Int) => v, (acc: Int, v: Int) => acc + v, (acc1: Int, acc2: Int) => acc1 + acc2 ) ``` #### Action（行动）算子 Action算子用于触发实际的计算过程，并通常会产生一个具体的结果或者副作用，比如打印日志、保存文件等[^5]。 常见的Action算子有如下几类： 1. **collect算子** - 收集分布式数据到驱动程序中形成数组。 - 示例代码： ```scala val collectedData = rdd.collect() ``` 2. **count算子** - 统计RDD中的元素数量。 - 示例代码： ```scala val countResult = rdd.count() ``` 3. **take算子** - 获取前N个元素。 - 示例代码： ```scala val topElements = rdd.take(5) ``` 4. **saveAsTextFile算子** - 将RDD的内容以文本形式保存至HDFS或其他支持的文件系统。 - 示例代码： ```scala rdd.saveAsTextFile("/path/to/output") ``` 5. **reduce算子** - 使用给定的二元运算符对RDD中的所有元素进行规约。 - 示例代码： ```scala val sum = rdd.reduce((x, y) => x + y) ``` 6. **foreach算子** - 遍历RDD中的每个元素并对其施加特定逻辑。 - 示例代码： ```scala rdd.foreach(println) ``` 通过以上两类算子的组合使用，开发者能够灵活高效地完成各种复杂的大数据分析任务。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值