Spark 常用行动算子使用总结

最新推荐文章于 2025-05-08 01:00:00 发布
最新推荐文章于 2025-05-08 01:00:00 发布
阅读量2.3k 收藏 21
点赞数 42
CC 4.0 BY-SA版权
分类专栏： spark 入门到精通 文章标签： Spark 常用行动算子使用 Spark 常用行动算子 Spark 行动算子
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/congge_study/article/details/124461494
本文总结了Spark中的常用行动算子，包括reduce用于数据聚合，count用于统计元素数量，first获取第一个元素，take获取指定数量元素，takeOrdered按特定顺序取元素，aggregate和fold进行累积操作，以及countByKey针对Key进行计数。通过案例展示了每个算子的使用和效果。

前言

Spark RDD 中提供了丰富的 行动算子可以帮助我们完成对RDD数据的一些常用统计、聚合等业务的操作，下面将常用的行动算子进行使用总结；

reduce

函数签名

def reduce(f: (T, T) => T ): T

函数说明

聚集 RDD 中的所有元素，先聚
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark算子使用示例
梓纾的专栏
11-05 1万+
1. 算子分类从大方向来说，Spark 算子大致可以分为以下两类 Transformation：操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 Action：会触发 Spark 提交作业（Job），并将数据输出 Spark系统。 从小方向来说，Spark 算子大致可以分为以下三类: Value数据类型的T
Spark算子的详细使用方法
12-05
本文档简明扼要，通俗易懂的列举了SPARK所有的算子的使用方法
RDD编程-行动算子
azhrrvsfz270786493的博客
11-30 289
2.4 Action 2.4.1 reduce(func)案例 作用：通过func函数聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据。 需求：创建一个RDD，将所有元素聚合得到结果 （1）创建一个RDD[Int] scala> val rdd1 = sc.makeRDD(1 to 10,2) rdd1: org.apache.spark.rdd.RDD[Int] =...
Spark 行动算子
m0_72168501的博客
01-29 1001
Spark 行动算子，方法
Spark常用RDD算子：transformation转换算子以及action触发算子
m0_70882914的博客
10-10 2096
transformation 转换算子对RDD数据进行转化得到新的RDD，定义了一个线程任务。常见：map、filter、flatMap、reduceByKey、groupByKey、sortByKeyaction 执行算子触发计算任务，让计算任务进行执行，得到结果。触发线程执行的。常见：foreach、first、count、reduce、saveAsTextFile、collect、take。
Spark常用算子详细解析
weixin_50227709的博客
03-15 899
在 Spark RDD 的编程模型中，算子（Operator）分为（转换）和（行动）两大类。代表对 RDD 进行转换并返回新的 RDD（惰性执行），则会触发实际作业执行并返回结果（或写出到外部存储）。下面列举 Spark RDD 常用的算子，并给出简要示例及说明。
Spark的RDD转换算子与行动算子
Laoddaaa的博客
08-20 678
Spark的RDD转换算子与行动算子
Spark---行动算子RDD
weixin_47109902的博客
01-10 1575
行动算子可以分为两类：数据运算类和数据存储类。数据运算类算子主要用于触发RDD计算，并得到计算结果返回给Spark程序或Shell界面，例如reduce()函数。数据存储类算子用于触发RDD计算后，将结果保存到外部存储系统中，如HDFS文件系统或数据库，例如saveAsObjectFile()函数。注意：aggregate在使用的时候与aggregateByKey的区别在于：aggregate设置的初始值不仅会与分区内的第一个元素相加，而且还会与分区间的第一个元素相加。
Spark RDD-行动算子
weixin_30836759的博客
07-07 159
2.4 Action 行动算子：触发运算，在 Executor 执行，如果想直接在 Driver 端看到结果可以使用 collect 和 foreach 都可以将数据拉取到 Driver 端。 2.4.1 reduce(func) 案例 1. 作用：通过 func 函数聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据。 2. 需求：创建一个 RDD，将所有...
Spark之行动算子
lslslslslss的博客
02-14 464
因为转换算子都是懒加载，并不会立即执行，遇到行动算子才执行。 目录 1.reduce() 2.collect() 3.count() 4.first() 5.take() 6.takeOrdered() 7.aggregate() 8.fold() 9.countByKey() 10.save 11.foreach() 1.reduce() 聚合，f函数聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据。 val listRDD: RDD[Int] ...
Spark行为算子中count()算子|first()算子|take()算子
SmallScorpion
04-18 2018
count()返回RDD中元素个数 1）函数签名：def count(): Long 2）功能说明：返回RDD中元素的个数 first()返回RDD中的第一个元素 1）函数签名： def first(): T 2）功能说明：返回RDD中的第一个元素 take()返回由RDD前n个元素组成的数组 1）函数签名： def take(num: Int): Array[T] 2）功能说明：返...
Spark---转换算子、行动算子、持久化算子
yaya_jn的博客
11-22 2025
Transformations类算子是一类算子（函数）叫做转换算子，如map、flatMap、reduceByKey等。Transformations算子是延迟执行，也叫懒加载执行。
Spark-行动算子
dafsq的博客
03-11 661
Spark-行动算子
Spark处理过程-行动算子
2401_87129116的博客
05-08 920
行动算子是触发 Spark 计算的“触发点”，因为 Spark 的 RDD 是懒惰计算的，只有在执行行动算子时，才会真正开始计算。它会触发 Spark 作业的实际执行，对 RDD 中的所有元素进行计数，并将最终的计数结果返回给驱动程序。f: T => Unit：这是一个函数，它接收一个类型为 T 的元素（T 为 RDD 中元素的类型），并对该元素执行相应的操作，但不返回任何值（返回类型为 Unit）。返回值：返回一个包含 RDD 中所有元素的数组，数组元素的类型与 RDD 中元素的类型一致。
spark Action 行动算子
qq_43192537的博客
11-30 749
spark Action 行动算子
Spark行动算子(Action)--take算子
寒暄的博客
08-04 1587
语法 Rdd. take(n) 源码 def take(num : scala.Int) : scala.Array[T] = { /* compiled code */ } 作用 返回RDD中的前n个元素。 例子 package com.day1 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object oper { def main(args: Array[String]
Spark RDD动作算子：first、take、collect、count、countByValue、reduce、aggregate、fold、top、takeOrdered、countByKey
qq_43012693的博客
11-09 759
first 返回第一个元素； take 返回前n个元素； collect 返回RDD中的所有元素； count 返回RDD中的元素个数； countByValue 各元素在RDD中出现的次数； reduce 并行整合RDD中的所有数据； aggregate 和reduce相似，不过需要赋予一个初始值。一般不适用返回不同类型的函数； fold 和aggregate类似，都需要一个初始值。在计算时按照分区进行，每个分区计算完成后和初始值折叠，然后分区之间还会进行fold.例如： rdd.fold(1)(+)。假
spark之Action操作算子
weixin_44701192的博客
07-20 383
package com.meng.nan.day717 import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD //常见的行动算子 // foreach(循环遍历),collect（转换为Array数组）,r...
spark常用算子
最新发布
07-27
### 三、Spark常用算子介绍及使用场景 Apache Spark 提供了丰富的算子（Operator），用于实现数据的转换和处理。这些算子可以分为两类：**转换算子（Transformation）** 和 **行动算子（Action）**。转换算子是惰性执行的，只有遇到行动算子才会真正触发任务的执行。Spark 的算子数量远多于 MapReduce，具备更强的表达力和灵活性，能够满足大多数大数据处理场景的需求[^1]。 --- #### 3.1 转换算子（Transformation） 转换算子用于将一个 RDD 转换为另一个 RDD，其执行是惰性的。 ##### 3.1.1 `map` `map` 算子用于对 RDD 中的每个元素应用一个函数，并返回新的 RDD。它是一对一的映射关系。 ```scala val rdd = sc.parallelize(Seq(1, 2, 3, 4)) val mappedRdd = rdd.map(x => x * 2) ``` ##### 3.1.2 `filter` `filter` 算子用于筛选出满足条件的元素，生成新的 RDD。 ```scala val filteredRdd = rdd.filter(x => x % 2 == 0) ``` ##### 3.1.3 `flatMap` `flatMap` 与 `map` 类似，但每个输入元素可以映射为多个输出元素，最终结果是扁平化的 RDD。 ```scala val flatMappedRdd = rdd.flatMap(x => Seq(x, x * 2)) ``` ##### 3.1.4 `union` `union` 算子用于合并两个具有相同数据类型的 RDD，不进行去重操作。 ```scala val rdd1 = sc.parallelize(Seq(1, 2, 3)) val rdd2 = sc.parallelize(Seq(3, 4, 5)) val unionRdd = rdd1.union(rdd2) // 结果包含 1,2,3,3,4,5 ``` ##### 3.1.5 `distinct` `distinct` 算子用于去除 RDD 中的重复元素。 ```scala val distinctRdd = unionRdd.distinct() ``` ##### 3.1.6 `join` `join` 算子用于对两个键值对 RDD 进行连接操作，返回键相同的所有键值对组合。 ```scala val rdd1 = sc.parallelize(Seq(("a", 1), ("b", 2))) val rdd2 = sc.parallelize(Seq(("a", 3), ("b", 4))) val joinedRdd = rdd1.join(rdd2) // 结果为 ("a", (1,3)), ("b", (2,4)) ``` ##### 3.1.7 `groupByKey` `groupByKey` 算子用于将键值对 RDD 中相同键的值进行分组。 ```scala val groupedRdd = rdd1.groupByKey() ``` ##### 3.1.8 `reduceByKey` `reduceByKey` 算子用于对键值对 RDD 中相同键的值进行聚合操作。 ```scala val reducedRdd = rdd1.reduceByKey(_ + _) ``` --- #### 3.2 行动算子（Action） 行动算子用于触发 Spark 作业的执行，并返回结果给 Driver 程序或写入外部存储。 ##### 3.2.1 `collect` `collect` 算子用于将所有 RDD 的数据收集到 Driver 端，适用于小数据集。 ```scala val result = rdd.collect() ``` ##### 3.2.2 `count` `count` 算子用于统计 RDD 中元素的总数。 ```scala val total = rdd.count() ``` ##### 3.2.3 `take` `take` 算子用于从 RDD 中取出前 n 个元素。 ```scala val firstThree = rdd.take(3) ``` ##### 3.2.4 `foreach` `foreach` 算子用于对 RDD 中的每个元素执行某个操作，通常用于输出或写入外部系统。 ```scala rdd.foreach(println) ``` ##### 3.2.5 `saveAsTextFile` `saveAsTextFile` 算子用于将 RDD 的内容保存为文本文件。 ```scala rdd.saveAsTextFile("output_path") ``` --- #### 3.3 使用场景 - **数据清洗与预处理**：使用 `map`、`filter`、`flatMap` 等算子对原始数据进行格式转换和过滤。 - **数据聚合与统计**：使用 `reduceByKey`、`groupByKey` 等进行键值对的聚合操作。 - **数据合并与去重**：使用 `union` 和 `distinct` 对多个数据源进行合并和去重。 - **数据连接**：使用 `join` 对两个键值对 RDD 进行连接。 - **结果输出**：使用 `collect`、`foreach`、`saveAsTextFile` 将结果输出到控制台或文件系统。 --- #### 3.4 示例代码 ```python list1 = [1, 2, 3, 4, 5, 6, 7, 8] list2 = [5, 6, 7, 8, 9, 10] rdd1 = sc.parallelize(list1, 2) rdd2 = sc.parallelize(list2, 2) rdd3 = rdd1.union(rdd2) rdd4 = rdd3.distinct() rdd4.foreach(print) ``` 该代码展示了 `union` 和 `distinct` 的组合使用，先合并两个列表，再去除重复元素[^3]。 ---
评论 50
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值