RDD的Action算子详细笔记，对比学习

最新推荐文章于 2024-04-10 22:24:15 发布
原创 最新推荐文章于 2024-04-10 22:24:15 发布 · 643 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #scala #big data

本文详细介绍了Spark中的Action算子，包括countByKey、collect、reduce、fold、first、take、top、count、takeSample、takeOrdered、foreach、saveAsTextFile、mapPartitions、foreachPartition、partitionBy和repartition等，分析了它们的功能和使用场景。同时，文章探讨了groupByKey和reduceByKey在功能和性能上的区别，强调了reduceByKey在减少shuffle操作上的优势，从而提高计算效率。

文章目录

Action算子

1.countByKey算子：统计key出现的次数（一般用在kv型RDD）

在这里插入图片描述

2.collect算子：将RDD各个分区的内容收集到Driver，形成一个list对象

在这里插入图片描述

3.reduce算子：对RDD数据按照你传入的逻辑进行聚合

在这里插入图片描述

4.fold算子：和reduce差不多，只是加上了一个初始值

在这里插入图片描述

5.first算子：就是取出第一个元素

在这里插入图片描述

最低0.47元/天 解锁文章
Spark基础学习笔记17：掌握RDD算子
howard2005的专栏
03-12 2848
RDD转化算子、RDD行动算子
PySpark学习笔记2-RDD算子，RDD持久化
little_TianYe的博客
01-06 864
rdd.sortByKey()按照键值进行排序，ascending确定升序和降序，numPartition确定分区大小，keyfunc确定排序之前最键值的处理方法。前者只有分组功能，但是后者除了分组功能还有聚合功能，后者在分区内会进行预聚合，在进行分组流程，被分组的数据量大大减少，提高了整体性能。rdd.union()合并两个RDD并返回一个RDD，只合并不去重，并且两个RDD的类型可以不同。rdd.distinct()对RDD数据进行去重，并返回新的RDD。
Spark算子：RDD行动Action操作(1)–first、count、reduce、collect
羽翼天宇
08-01 1318
Spark算子：RDD行动Action操作(1)–first、count、reduce、collect   关键字：Spark算子、Spark RDD行动Action、first、count、reduce、collectfirst def first(): T first返回RDD中的第一个元素，不排序。     scala> var rdd1 = sc.makeRDD(Arra...
【Spark】RDD操作详解4——Action算子
Jason Ding的专栏
07-12 3566
本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。 根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。无输出foreach对RDD中的每个元素都应用f函数操作，不返回RDD和Array，而是返回Uint。 图中，foreach算子通过用户自定义函数对每个数据项进行操作。
【大数据篇】Spark转换算子（Transformations）和行动算子（Actions）详解
林木森的博客
04-10 2344
Apache Spark 提供了大量的算子（操作），这些算子大致可以分为两类：转换算子（Transformations）和行动算子（Actions）。转换算子用于创建一个新的RDD，而行动算子则对RDD进行操作并产生结果。
RDD 常见Action算子入门及应用
鸭梨的博客
11-17 352
reduce 1 参数为函数,该函数的返回值类型为T,2个参数类型也是T 2方法reduce的返回值类型也是T 比如T为Int. 函数为(x,y)=>x+y .就是说x类型为Int,y类型为Int. x+y的结果也是Int. reduce函数的返回也是Int scala> val a = sc.parallelize(1 to 10,2) a: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at
Spark算子：RDD常用的10种action算子 & 3种常见保存路径
攻城狮Kevin
02-18 1561
目录 1. reduce（func） 2. collect（） 3. count（） 4. first（） 5. take（n） 6. takeOrdered（n） 7. aggregate（） 8. fold（num）（func） 9. 三种常用RDD元素保存路径 10. countByKey 11. foreach（func）、foreachPartition（func）...
尚硅谷大数据Spark之RDD转换算子学习笔记及面试题
qq_25127933的博客
09-28 937
1. Spark 算子从功能上可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 RDD转换算子根据数据处理方式的不同将算子整体上分为Value类型、双Value类型和Key-Value类型 2）Action 行动算子：这类算子会触发 SparkContext 提交
Spark基础学习笔记14：掌握RDD算子
qq_56244269的博客
06-13 689
目录一、RDD算子二、准备工作（一）准备文件1、准备本地系统文件2、把文件上传到HDFS（二）启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark Shell三、转化算子（一）映射算子 - map()1、映射算子功能2、映射算子案例（二）过滤算子 - filter()1、过滤算子功能2、过滤算子案例（三）扁平映射算子 - flatMap()1、扁平映射算子功能、扁平映射算子案例（四）按键归约算子 - reduceByKey()1、按键归约算子功能2、按键归约算子案例
RDD编程-RDD算子的使用（三）-Action算子
qq_43729898的博客
11-24 948
* reduce /** * 行动算子: reduce * 逻辑: 将RDD中的数据，按照指定的规则进行聚合运算 */ @Test def reduceTest(): Unit = { // 1. 通过集合，创建一个RDD val rdd: RDD[Int] = sc.parallelize(1 to 100, 2) // 2. 聚合运算 val res: Int = rdd.reduce(_ + _)
RDD——Action算子
JStana的博客
11-27 571
RDD——Action算子
[1.5] RDD经典Action类算子实战解读
Memory of Mr.Snail
10-09 1832
场景常用action类算子的用法举例分析spark中常用的action类算子有： saveAsTextFile、reduce、count、 collect、foreach 以及 take 等，这里以 saveAsTextFile、collect与foreach算子的用法为例加以详细说明。saveAsTextFile：将rdd中的数据以文本形式保存下来，制定的文件目录不存在则创建，存在的话抛异常（文
RDD的动作 Action
不言尘世
03-27 285
一下整理了一些比较常用的Action package com.sheng import org.apache.spark.{SparkConf, SparkContext} object Spark_Anction { def main(args: Array[String]): Unit = { Action10() } /*reduce(func)案例 1....
Spark：java-spark中常用RDD之经典Action类算子
不花的花和尚的博客
09-19 855
场景 常用action类算子的用法举例 分析 spark中常用的action类算子有（cccf rst熟记）： count、countByKey、collect、foreach reduce、saveAsTextFile 、take  等。 这里以 saveAsTextFile、collect与foreach算子的用法为例加以详细说明。 saveAsTextFile：将rdd中的数据以...
Spark常用的action算子
weixin_34187822的博客
12-29 978
action算子简介 Action类算子也是一类算子（函数）叫做行动算子，如foreach,collect，count等。Transformations类算子是延迟执行，Action类算子是触发执行。一个application应用程序（就是我们编写的一个应用程序）中有几个Action类算子执行，就有几个job运行。 1.reduce 通过函数func聚集数据集中的所有元素，这个函数必须是关联性的，...
Action行动算子
LssTwl的博客
01-25 826
Action行动算子 概念：Action类算子也是一类算子（函数）叫做行动算子，如foreach,collect，count等。Transformations类算子是延迟执行，Action类算子是触发执行。一个application应用程序中有几个Action类算子执行，就有几个job运行 常用算子: count: 返回数据集中的元素数。会在结果计算完成后回收到Driver端 t...
RDD的行动（Action）操作
Nice的博客
09-11 2317
1. reduce(func) 通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的 scala> val rdd1 = sc.makeRDD(1 to 10,2) rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[85] at makeRDD at <console>:24 scala...
RDD的两种操作（Transformation和Action）
SunnyRivers
03-31 6046
RDD创建后就可以在RDD上进行数据处理。RDD支持两种操作：转换（transformation），即从现有的数据集创建一个新的数据集；动作（action），即在数据集上进行计算后，返回一个值给Driver程序。 RDD 的转化操作是返回一个新的 RDD 的操作，比如 map() 和 filter() ，而行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作，会触发实际的计算，比如 coun...
Spark之RDD动作算子（Action）大全
zp17834994071的博客
08-07 5434
前面已经给大家讲过RDD原理以及常用的转换算子，今天就再给大家说说RDD的动作算子有哪些，以便大家更能全面的理解和掌握。 对于动作算子来说，本质上动作算子是通过SparkContext执行提交作业操作，触发RDD DAG（有向无环图）的执行；所有的动作算子都是急迫型（non-lazy），RDD遇到Action就会立即计算。 常用动作算子 count 返回数据集中的元素的个数 案例： val rdd=sc.parallelize(List(1,2,3,4,5,6)) rdd.count //6 coll
RDD的算子
最新发布
06-19
Spark RDD算子分为**转化算子（Transformation）**和**行动算子（Action）**两类。转化算子生成新RDD（惰性执行），行动算子触发计算并返回结果。以下是常用算子及用法： --- #### **一、常用转化算子...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值