Spark编程指引(三)-----------------RDD操作，shuffle和持久化

最新推荐文章于 2025-11-03 13:07:35 发布
最新推荐文章于 2025-11-03 13:07:35 发布
阅读量1.7w 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hadoop spark 大数据 spark 分布式 聚合数据 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/happyAnger6/article/details/46552823
本文介绍了Spark中键值对的处理，重点讲解了reduceByKey操作和shuffle过程，包括shuffle的原理、挑战及如何优化。此外，还探讨了RDD的持久化机制，提供了一些建议来选择合适的存储级别，并阐述了如何手动删除缓存的RDD。

处理键－值对

尽管Spark的大部操作支持包含所有对象类型的RDDs,但是还有一些操作只支持键－值对的的RDDs.最常见的是类似"洗牌"的操作，比如以键值来分组或聚合所有的元素。

在Scala里，这些操作对包含2元组的RDD是自动可用的。（Scala语言内置的元组，通过(a,b)这样的形式创建）。对键－值对可用的操作在PairRDDFunctions类里，将自动包含在含有2元组的RDD里。

比如，下面的代码使用在键－值对上使用reduceByKey操作来计算文件中同一行出现的次数。

val lines = sc.textFile("data.txt")
val pairs = lines
了解本专栏 订阅专栏 解锁全文 超级会员免费看
理解Spark-RDD的Shuffle操作
杨鑫newlife的专栏
04-24 1972
1.Spark中的某些操作会触发称为shuffle的事件。 随机广播是Spark的重新分发数据的机制，因此它可以跨分区进行不同的分组。 这通常涉及跨执行程序和机器复制数据，使得Shuffle成为复杂且昂贵的操作。 2.为了理解在shuffle期间发生的事情，我们可以考虑reduceByKey操作的示例。 reduceByKey操作生成一个新的RDD， 其中单个键的所有值都组合成一个元组 -...
Spark RDD算子实战总结（超详细哦，绝对的干货！！！）
weixin_43520450的博客
09-10 4640
Spark RDD算子一、Spark算子概述二、Transformation算子下面来具体说明：三、Actions算子下面来具体说明：四、宽依赖和窄依赖 一、Spark算子概述 RDD：弹性分布式数据集，是一种特殊集合、支持多种来源、有容错机制、可以被缓存、支持并行操作，一个RDD代表多个分区里的数据集。 RDD有两种操作算子： Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住了数据集的逻辑操作 Action
Spark shuffle流程细则
Spark学习
03-11 1885
hadoop中的shuffle存在map任务和reduce任务之间，而spark中的shuffle过程存在stage之间。 shuffle操作分为两种，分别是写操作和读操作。 shuffle的写操作包括两种，分别是基于哈希的shuffle操作和基于排序的shuffle写操作。在spark1.2版本之前，采用基于哈希的shuffle操作，1.2版本之后采用基于排序的shuffle写操作。 基于哈...
Spark RDD 编程从驱动程序到共享变量、Shuffle 与持久化
最新发布
hello.reader
11-03 1472
本文介绍了Spark应用的基本概念和核心操作。主要内容包括：Spark应用的组成部分（Driver和Executors）、RDD的基本特性与创建方式（外部存储读取或并行化本地集合）、共享变量（Broadcast和Accumulator）的使用场景。文章还详细说明了Spark的环境配置、初始化方法，以及RDD的转换（Transformations）和行动（Actions）编程模型。重点阐述了闭包副作用问题和Shuffle操作的开销优化策略，最后介绍了RDD持久化缓存的使用方法。这些内容为使用Spark进行分布
Spark（二）-- SparkCore扩展 (三) -- RDD 的 Shuffle 和分区
happy-vicky的博客
09-12 654
目录 3.RDD 的 Shuffle 和分区 3.1 RDD 的分区操作 查看分区数 创建 RDD 时指定分区数 3.2 RDD 的 Shuffle 是什么 3.3 RDD 的 Shuffle 原理 Hash base shuffle Sort base shuffle 3.RDD 的 Shuffle 和分区 目标 RDD 的分区操作 Shuffle 的原理 ...
Spark笔记整理（五）：Spark RDD持久化、广播变量和累加器
weixin_30685047的博客
07-30 211
Spark RDD持久化 RDD持久化工作原理 Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD计算一次即可，后面直接使用该RDD，而不需要反复计算...
精品专题（2021-2022年收藏）spark的优化控制数据分区和分布.doc
10-02
这里创建了一个拥有100个分区的RDD，并将其持久化到内存中。 在实际应用中，网络带宽是另一个重要考虑因素。例如，MapReduce通常要求本地网卡速度至少达到20兆，即使数据已经压缩。因此，优化数据分区和分布策略...
gallia-spark：基于Spark RDD的分布式数据处理框架
综上所述，gallia-spark是一个依托于Apache Spark强大计算能力、聚焦于RDD层面操作优化与抽象封装的分布式数据处理框架，它通过与gallia-core协同工作，为特定类型的大数据应用提供更加简洁、高效和可控的编程接口。...
开发者最佳实践日－Spark-Ecosystem
09-22
- **内存计算**: Spark 的内存计算特性允许数据在内存中持久化，减少了磁盘 I/O，显著提升了处理性能。 **1.4 Spark为何如此之快** - **基于内存的计算**: 大部分数据处理操作都在内存中完成，减少了昂贵的磁盘 I/...
Spark---持久化，共享变量和RDD之间的依赖关系详解
onthe_wing的博客
04-25 1035
Spark中最重要的功能之一是跨操作在内存中持久化（或缓存）数据集。当您持久化RDD时，每个节点将其计算的任何分区存储在内存中，并在该数据集（或从该数据集派生的数据集）上的其他操作中重用这些分区。这使得未来的行动更快（通常超过10倍）。缓存是迭代算法和快速交互使用的关键工具。
精选资源
playing-with-spark-rdd:Apache Spark RDD示例
03-21
7. **持久化**：通过`persist()`或`cache()`方法，你可以缓存RDD以供后续使用，提高数据复用的效率。 8. **错误恢复**：RDD的血统（lineage）使得Spark能够通过重新计算丢失的分区来恢复数据，这是Spark高容错性的...
spark持久化（缓存）
little_nai的博客
12-12 2032
1、惰性求值： RDD转化过程都是惰性求值的。这意味着在被调用行动操作之前spark不会开始计算，spark会在内部记录下所要求执行的操作的相关信息，我们可以把每个RDD看作我们通过转化操作构建出来的、记录如何计算数据的指定列表。把数据读取到RDD的操作同样是惰性的。2、持久化缓存 SparkRDD是惰性求值的，而有时候我们希望能够多次使用同一个RDD。如果简单地对RDD调用行动操作，Spark
Spark持久化策略
weixin_30894389的博客
03-12 171
spark持久化策略_缓存优化persist、cache都是持久化到内存缓存策略 StorageLevel_useDisk：是否使用磁盘_useMemory：是否使用内存_useOffHeap：不用堆内存，找tackyon_deserialized：不序列化（序列化可理解为压缩，节省内存磁盘空间，但是消耗CPU）_replication：副本数量 默认1份 默认持久化：只持久化到...
Spark持久化
weixin_41812379的博客
10-31 378
假设我们在对RDD进行转化的时候，需要用同一个RDD得到两个结果，如下面代码所示。 val rdd = sparkContext.makeRDD(List( ("a",1),("a",2),("c",3), ("b",4),("c",5),("c",6) ),1) val rdd1 = rdd.map(x => { (x._1, x._2 + 1) }) val reduceRDD = rdd1.reduceB
spark持久化
技术成就梦想
02-13 690
日常开发中每次读取大文件都比较费时费力，而每次的重复读取都是资源的浪费，针对这些问题spark也提供了持久化的解决方案，帮助我们解决诸如此类的效率问题，先来看一段我搜集到的资料： RDD 持久化 Spark 中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可以访问这些持久化的数据。当持久化一个 RDD 时，每个节点的其它分区都可以使用 RDD 在内存中进行计算，在该数据上的其他 ...
spark的持久化
QiuYang18的博客
11-30 704
spark的持久化 cache persisit checkpoint 以上算子都可以将RDD持久化，持久化的单位是partition。cache和persist都是懒执行的。必须有一个action类算子触发执行。checkpoint算子不仅能将RDD持久化到磁盘，还能切断RDD之间的依赖关系。 1. cache 默认将RDD的数据持久化到内存中。cache是懒执行。 注意：cache () ...
Spark---持久化
大呱的博客
03-31 1207
Spark---持久化之缓存和检查点
SparkRDD算子--sample算子
寒暄的博客
07-31 1090
语法 val newRdd = oldRdd.sample(withReplacement, fraction, seed) withReplacement表示是抽出的数据是否放回，true为有放回的抽样，false为无放回的抽样 fraction表示随机抽样的数据数量 seed用于指定随机数生成器种子 源码 def sample(withReplacement : scala.Boolean, fraction : scala.Double, seed : scala.Long = { /* compil
4、Spark_RDD算子——sample
weixin_39025328的博客
09-29 277
一、SparkUtils工具类 import org.apache.spark.{SparkConf, SparkContext} object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

self-motivation

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值