为什么spark中叫算子不叫方法以及算子之间的区别

最新推荐文章于 2024-10-10 19:45:00 发布
原创 最新推荐文章于 2024-10-10 19:45:00 发布 · 2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #哈希算法 #数据结构

博客探讨了在Spark中为何将RDD的操作称为算子而非方法。算子在Executor中执行，与scala集合对象的方法在Driver端执行不同，这导致了执行顺序和数据有序性的区别。例如，foreach和collect分别在Execute端和Driver端执行，前者可能导致乱序输出，而后者则保证有序。此外，算子与接口IndexedSeqOptimized的方法也有所区分。

今天博主在学习spark中一直在用算子，突然很困惑为什么要叫算子而不是方法呢？
答：
算子：（Operation)
是为了区分和scala集合对象的方法，集合对象的方法都是在同一个节点中完成的，RDD的方法也就是算子都是在Executor中执行，为了区分两者，所以称之为算子。

foreachcollect.foreach
Execute端执行操做在driver端执执行操作
每个Execute进行输出，所以乱序Execute端反馈给driver，driver端进行整合输出，所以是有序
类RDD的方法接口IndexedSeqOptimized的方法
Spark中mapPartitions算子详解介绍
优快云 精品推荐
08-16 975
上一节我们讲到如何使用map算子对RDD中的数据进行映射处理，但是map函数有个缺点就是不能够批处理，他是每次只处理一个元素，而本节使用的 `mapPartitions` 进行的类似于批处理，每次处理整个分区的数据。
⑩SparkSQL数据处理两种方式-DataFrameSQL和算子
someInNeed的博客
12-10 2425
为了给开发者提供足够的灵活性，对于 DataFrame 之上的数据处理，Spark SQL 支持两类开发入口：一个是大家所熟知的结构化查询语言：SQL，另一类是 DataFrame 开发算子。就开发效率与执行效率来说，二者并无优劣之分，选择哪种开发入口，完全取决于开发者的个人偏好与开发习惯。与 RDD 类似，DataFrame 支持种类繁多的开发算子，但相比 SQL 语言，DataFrame 算子的学习成本相对要高一些。因此，本着先易后难的思路，咱们先来说说 DataFrame 中 SQL 语...
为什么把Spark RDD中的方法称之为算子？和Scala中的方法有什么不同？
楠楠好难
04-24 566
算子也就是Operator（操作） 不同的称呼是为了区分RDD的方法和Scala集合对象的方法 Scala集合对象的方法都是在同一个节点的内存中完成的 RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行 RDD的方法 外部操作都是在Driver端执行，而方法内部的逻辑代码是在Executor端执行 例如： ...
Spark学习笔记：spark核心编程、RDD、SparkSQL、SparkStreaming
m0_51697147的博客
11-06 696
Spark笔记
算法和算子
studyvcmfc的专栏
03-30 1538
https://www.zhihu.com/question/273906526/answer/373969269
算法和算子（待补充）
qq_44418077的博客
04-30 3535
算法和算子算法和算子算法算子 算法和算子 算法和算子的关系：算法(algorithm)是为了达到某个目标，实施的一系列指令的过程，而指令包含算子(operator)和操作数(operand)。算子：operator, 简单说来就是进行某种“操作“，动作。与之对应的，就是被操作的对象，称之为操作数，operand 作者：知乎用户 链接：https://www.zhihu.com/question/273906526/answer/373969269 来源：知乎 著作权归作者所有。商业转载请联系作者获得授
Spark常用的算子以及Scala函数总结.pdf
05-17
具体到 Spark 中的算子，下面列出了常见的 Transformation 和 Action 算子以及它们的功能： 1. map(func): 对 RDD 中的每个元素应用函数 func，并返回一个新的 RDD。 2. mapPartitions(func): 类似于 map，但函数 ...
Spark常用RDD算子：transformation转换算子以及action触发算子
m0_70882914的博客
10-10 2100
transformation 转换算子对RDD数据进行转化得到新的RDD，定义了一个线程任务。常见：map、filter、flatMap、reduceByKey、groupByKey、sortByKeyaction 执行算子触发计算任务，让计算任务进行执行，得到结果。触发线程执行的。常见：foreach、first、count、reduce、saveAsTextFile、collect、take。
如何在 Spark 中使用算子来处理数据
03-14
### 如何在 Spark 中使用算子来处理数据 在大数据处理领域，Apache Spark 作为一种高效且功能全面的数据处理引擎，其核心优势在于提供了一系列高级工具和技术来简化大规模数据集的操作。其中，Spark 算子...
java-spark中各种常用算子的写法示例
08-27
Spark 算子在 Java 中的写法示例 Spark 算子是 Spark 框架中的核心组件之一，它们负责对数据进行处理和转换。Spark 中的算子可以分为两大类：Transformation 变换/转换算子和 Action 行动算子。Transformation 算子...
边缘检测的一些不错的算法，包括很多算子的源代码。机会不容错过
03-06
边缘检测的一些不错的算法，包括很多算子的源代码。机会不容错过
Spark算子汇总和理解（详细）
ChainingBlocks
01-12 1万+
Spark之所以比Hadoop灵活和强大，其中一个原因是Spark内置了许多有用的算子，也就是方法。通过对这些方法的组合，编程人员就可以写出自己想要的功能。说白了spark编程就是对spark算子的使用。所以熟悉spark算子是spark编程的必修课。这篇文章是本人对于spark算子的汇总和理解。欢迎批评指正 ：) groupByKey()描述： Group values with the sa
RDD与算子
w4xj的博客
09-22 1025
1.RDD [1].概念 RDD(Resilient Distributed Dateset)，弹性分布式数据集。 [2].RDD的五大特性： ①.RDD是由一系列的partition组成的。 ②.函数是作用在每一个partition（split）上的。 ③.RDD之间有一系列的依赖关系。 ④.分区器是作用在K,V格式的RDD上。 ⑤.RDD提供一系列最佳的计算位置。利于数据处...
java Stream流操作
懒猫的脚印
09-07 998
前言     在Java8中另外一个比较大且非常重要的改动就是Stream。它规范及简化了程序的统计过程。举个例子： //过程式的解决方案 int longest = 0; for(String str : strings){ if(str.startsWith("A")){// 1. filter(), 保留以A开头的字符串 int len = str.length();// 2. mapToInt(), 转换成长度 long
图像算法八 —— 多种边缘检测算法（Sobel算子、Isotropic Sobel算子、Roberts算子、Prewitt算子、Laplacian算子、Canny算子）介绍及比较
热门推荐
weixin_43662553的博客
08-13 2万+
图像算法八 —— 多种边缘检测算法（Sobel算子、Isotropic Sobel算子、Roberts算子、Prewitt算子、Laplacian算子、Canny算子）介绍及比较
Spark-算子原理和区别
迷路剑客个人博客
04-23 769
Spark-算子原理和区别 转载声明 本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容： spark部分：distinct去重的原理 作者：道法—自然 SQL中union和union all的区别 作者：道法—自然 repartition和coalesce的区别 作者：道法—自然 spark中makerdd和parallelize的区别 作者：道法—自然 map flatm...
scala集合方法与RDD算子区别
探索数据奥秘的博客
10-09 447
1、Scala集合方法与RDD算子区别 RDD的方法和Scala集合对象的方法不一样 集合对象的方法都是在同一个节点的内存中完成的 RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行 为了区分不同的处理效果，所以将RDD的方法称之为算子 RDD的方法之外的操作都是在Driver端执行的，而方法内部的逻辑代码是在Excutor端执行的 2、RDD转换算子与行动算子 转换算子，是将RDD进行各种形式的变换，但不执行 行动算子，像是启动按钮，将之前一系列转换算子一并执行 ..
七、算子间的区别
murphyZ的博客
03-08 270
算子间的区别 map和mapPartitions的区别: map是处理RDD里的每个元素,mapPartitions适用于处理RDD的每个分区的 map和foreach的区别: 1.map是有返回值的,foreach没有返回值 2.map常用于将某个RDD做元素的处理,而foreach常用于作为结果的输出到其它的存储系统中 3.map是属于transformation,foreach属于actio...
Spark中转换算子和行动算子的主要区别是什么？
最新发布
12-09
# Spark中转换算子(Transformations)与行动算子(Actions)的主要区别 ## 1. 执行机制差异 - **转换算子**：是惰性执行的(Lazy Evaluation)，只记录转换关系不立即计算 ```scala val mapped = rdd.map(_ * 2) // 此时不会真正计算 ``` - **行动算子**：触发实际计算，生成Job并提交执行 ```scala mapped.count() // 触发整个DAG的执行 ``` ## 2. 返回值类型 - **转换算子**：返回新的RDD/Dataset/DataFrame ```scala val filtered: RDD[Int] = rdd.filter(_ > 10) ``` - **行动算子**：返回非RDD值(标量或集合) ```scala val cnt: Long = rdd.count() // 返回Long类型 ``` ## 3. 数据流动方向 - **转换算子**：数据在集群内流动(分布式处理) - **行动算子**：数据可能被收集到Driver端 ```scala val arr: Array[Int] = rdd.collect() // 数据返回到Driver ``` ## 4. 触发点 - **转换算子**：构建DAG(有向无环图)的执行计划 - **行动算子**：是整个执行计划的触发器 ## 5. 典型算子对比 | 类别 | 转换算子示例 | 行动算子示例 | |------------|-----------------------------|------------------------| | 基本操作 | map, filter, flatMap | count, collect | | 聚合操作 | reduceByKey, groupByKey | reduce, aggregate | | 集合操作 | union, intersection | take, first | | 排序操作 | sortBy, repartitionAndSort | top, takeOrdered | ## 6. 性能影响 - **转换算子**：仅定义计算逻辑，不影响性能 - **行动算子**：实际消耗资源，可能产生Shuffle ```scala // 完整示例：转换算子链式调用+行动算子触发 val result = sc.parallelize(1 to 100) .filter(_ % 2 == 0) // 转换 .map(_ * 3) // 转换 .reduce(_ + _) // 行动(触发计算) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

布丁味

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值