Spark的特殊算子

最新推荐文章于 2024-07-31 15:54:40 发布
最新推荐文章于 2024-07-31 15:54:40 发布
阅读量317 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bing13692468/article/details/107347287
版权

1 cache persis
将数据缓存到内存，第一次触发Action，才会将数据放入内存，以后在触发Action，可以复用前面内存中缓存的数据，可以提升技术效率
cache和persist的使用场景：一个application多次触发Action，为了复用前面RDD的数据，避免反复读取HDFS（数据源）中的数据和重复计算，可以将数据缓存到内存或磁盘【executor所在的磁盘】，第一次触发action才放入到内存或磁盘，以后会缓存的RDD进行操作可以复用缓存的数据。
一个RDD多次触发Action缓存才有意义，如果将数据缓存到内存，内存不够，以分区位单位，只缓存部分分区的数据，cache底层调用persist，可以指定更加丰富的存储基本，支持多种StageLevel，可以将数据序列化,默认放入内存使用的是java对象存储，但是占用空间大，优点速度快，也可以使用其他的序列化方式
cache底层调用的是persist方法，可以指定其他存储级别
cache和persist方法，严格来说，不是Transformation，应为没有生成新的RDD，只是标记当前rdd要cache或persist
原始的数据，经过整理过滤后再进行cache或persist效果更佳
2 checkpoint
checkpoint使用场景：适合复杂的计算【机器学习、迭代计算】，为了避免中间结果数据丢失重复计算，可以将宝贵的中间结果保存到hdfs中，保证中间结果安全。
在调用rdd的checkpoint方法之前，一定要指定checkpoint的目录sc.setCheckPointDir，指的HDFS存储目录，为保证中间结果安全，将数据保存到HDFS中
第一次触发Action，才做checkpoint，会额外触发一个job，这个job的目的就是将结果保存到HDFS中
如果RDD做了checkpoint，这个RDD以前的依赖关系就不在使用了，触发多次Action，checkpoint才有意义，多用于迭代计算
checkpoint严格的说，不是Transformation，只是标记当前RDD要做checkpoint

bing13692468
关注
Spark中持久化cache算子详解介绍
优快云 精品推荐
08-19 405
函数用于将RDD或Dataset的计算结果存储在集群的内存中，以便于后续的操作可以重用这些数据，而不需要重新计算。这大大提高了迭代计算的效率，特别是对于迭代算法和重复数据访问的场景。这可能意味着改变你的工作流，以便在缓存之前过滤掉不需要的数据。如果你的工作负载真的需要大量的缓存，并且优化工作流以减少缓存的大小不可行，那么增加集群的内存是一个明智的选择。通过上述策略和选项的合理组合和应用，可以更灵活地管理Spark作业的内存使用，减缓或解决内存不足的问题。使用更紧凑的数据结构，这可以减少每条记录的内存占用。
spark 常用算子大全（分类详细，图片解析）
热门推荐
BigData_Hubert的博客
09-25 1万+
scala 系列 spark 常用算子大全 scala 常用算子大全scala 系列前言思维导图 前言 上一篇博客已经给大家介绍了 scala OOP， 掌握了OOP 的知识后，就已经算是进入 scala 的门了。scala OOP基础是 spark 和 flink 的基础。 本篇博客将为大家带来 scala 高级扩展的介绍。主要包括模式匹配和正则表达式，此外还有异常处理、注解和高级类型的简单了解。 思维导图 ...
谈一谈RDD 持久化的三个算子：cache、persist、checkpoint
乔治大哥的博客
11-21 865
这段伪代码的瑕疵： lines = sc.textFile(“hdfs://...”) errors = lines.filter(_.startsWith(“ERROR”)) mysql_errors = errors.filter(_.contain(“MySQL”)).count http_errors = errors.filter(_.contain(“Http”)).count ...
Spark RDD Cache算子的作用
weixin_30588907的博客
01-14 338
我们经常会对RDD执行一系列Transformation算子操作，逻辑上每经历一次变换，就会将RDD转换为一个新的RDD，RDD会被划分成很多的分区分布到集群的多个节点中。 分区是逻辑概念，为了防止函数式数据不可变行（immutable）导致的内存需求无限扩张，使得系统内存被快速用完，Spark使用延迟执行（lazy）的方式执行，即只有操作累计到Action（行动），算子...
spark源码（七）RDD cache、persist、checkpoint功能区别和源码解析
Interest1_wyt的博客
07-17 1145
RDD cache、persist、checkpoint功能区别和源码解析
spark cache
zhuizhuo的博客
03-11 590
cache
Spark SQL DataFrame 算子
2401_84052244的博客
07-31 3339
DataFrame 算子与 SQL 查询语句之间，并没有优劣之分，他们可以实现同样的数据应用，而且在执行性能方面也是一致的。因此，你可以结合你的开发习惯与偏好，自由地在两者之间进行取舍。DataFrame 本身支持的算子之外，在功能上，SQL 完全可以实现同样的数据分析。给定 DataFrame，你只需通过 createTempView 或是 createGlobalTempView 来创建临时表，然后就可以通过写 SQL 语句去进行数据的探索、倾斜、转换与分析。
大数据基础三：spark常用算子
Phyllis2016的博客
06-30 854
spark 算子
Spark数据聚合算子
2401_84052244的博客
07-30 3539
reduceByKey和aggregateByKey底层实现完全相同，都是combineByKeyWithClassTag，只不过reduceByKey调用 combineByKeyWithClassTag的入参mergeValue和mergeCombiners是相等的，aggregateByKey是用户指定可以不等的，也就是说 reduceByKey是一种特殊的aggregateByKey。
Spark RDD算子实战总结（超详细哦，绝对的干货！！！）
weixin_43520450的博客
09-10 4520
Spark RDD算子一、Spark算子概述二、Transformation算子下面来具体说明：三、Actions算子下面来具体说明：四、宽依赖和窄依赖 一、Spark算子概述 RDD：弹性分布式数据集，是一种特殊集合、支持多种来源、有容错机制、可以被缓存、支持并行操作，一个RDD代表多个分区里的数据集。 RDD有两种操作算子： Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住了数据集的逻辑操作 Action
【算子3】spark（五）：spark core：控制算子（cache、persist）、action算子和检查点
hiliang521的博客
09-26 1003
【算子3】spark（五）：spark core：控制算子（cache、persist）、action算子和检查点
Spark rdd之cache & persist
南风知我意
05-22 688
1.cache & persist 算子 cache 和 persist 这两个算子的执行原理一样，cache 的底层实现仍然是 persist，persist 提供了不同的存储级别。这里特别要注意的是： //三种使用方式等价 cache() = persist() = persist(MEMORY_ONLY) 从下面源码来看，cache() 函数的源码，其实调的就是 persist()， 而 persist() 调的则是 persist(StorageLevel.MEMORY_ONLY)
spark中cache和persist算子的区别
jiedaodezhuti的博客
10-12 535
基于spar-k2.4.0的源码对两个算子进行分析它们之间的区别 首先，看下cache（）算子的源码 def cache(self): """ Persist this RDD with the default storage level (`MEMORY_ONLY`). """ self.is_cached = True self.persist(StorageLevel.MEMORY_ONLY) return self 该算子调用了persist()算子
【Spark】Spark cache的用法及其误区分析
beautiful_huang的博客
02-24 4752
Spark cache的用法及其误区: 一、Cache的用法注意点： （1）cache之后一定不能立即有其它算子，不能直接去接算子。因为在实际工作的时候，cache后有算子的话，它每次都会重新触发这个计算过程。 （2）cache不是一个action，运行它的时候没有执行一个作业。 （3）cache缓存如何让它失效：unpersist，它是立即执行的。persist是lazy级别的（没有计算），un...
Spark 常用算子详解（转换算子、行动算子、控制算子）
weixin_44735572的博客
10-22 6840
Spark简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎； Spark拥有Hadoop MapReduce所具有的优点，但是运行速度却比MapReduce有很大的提升，特别是在数据挖掘、机器学习等需要迭代的领域可提升100x倍的速度： Spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的； Spark中具有DAG有向无环图，DAG有向无环图在此过程中减少...
spark部分：spark的四种运行模式，Spark 比 MapReduce 快的原因，spark执行程序流程，spark算子种类，spark持久化算子，cache 和 persist，调节参数的方式
wyqwilliam的博客
08-24 1184
Spark 有 4 中运行模式： 1. local 模式，适用于测试 2. standalone，并非是单节点，而是使用 spark 自带的资源调度框架 3. yarn，最流行的方式，使用 yarn 集群调度资源 4. mesos，国外使用的多 Spark 比 MapReduce 快的原因 1. Spark 基于内存迭代，而 MapReduce 基于磁盘迭代 MapReduce 的...
Spark算子介绍
jast
07-07 626
返回一个经过简化到numPartitions个分区的新RDD。这会导致一个窄依赖，例如：你将1000个分区转换成100个分区，这个过程不会发生shuffle，相反如果10个分区转换成100个分区将会发生shuffle。然而如果你想大幅度合并分区，例如合并成一个分区，这会导致你的计算在少数几个集群节点上计算（言外之意：并行度不够）。为了避免这种情况，你可以将第二个shuffle参数传递一个true，这样会在重新分区过程中多一步shuffle，这意味着上游的分区可以并行运行。注意：第二个参数shuffle=tr
spark三类算子小总结
qq_39131779的博客
10-29 1263
文章目录spark算子概述RDD有三种操作算子：1. Transformation（转换）2. Action（执行）3. 控制Transformation算子测试获取RDDMapfilterflatMap和reduceByKeysampleunionGroupByKeyjoinAction（执行）算子如何鉴别Action算子和Transformation算子控制算子控制算法的提出常用的控制算子pe...
Spark 持久化算子【大数据 Spark】
sui_feng_piao_guo的博客
04-09 3927
1. 产生来源 阅读以下代码 val lines = sc.textFile("hdfs://...") lines.filter(_.contain("my")).count //第一个job lines.filter(_.contain("my1")).count //第二个job 分析代码 上面的代码当执行到第一个job的时候触发一个job，当执行时会去hdfs中下载文件并执行； 当...
spark的RDD算子
最新发布
11-06
5. **特殊算子**： - `sortByKey` 和 `top/k`: 根据键值排序，或返回前k个元素。 - `sample`: 随机抽样数据。 这些算子都是无状态的，即不会记住之前的操作，适合大规模并行处理。每个算子都在分布式环境中执行，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值