(六)Spark源码理解之RDD----part5

最新推荐文章于 2024-01-28 18:05:27 发布
原创 最新推荐文章于 2024-01-28 18:05:27 发布 · 818 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析了Spark中的RDD及其PairRDDFunctions类，详细介绍了RDD的基本概念、检查点功能以及键值对操作方法，如groupByKey和reduceByKey等。通过灵活运用这些API，可以实现高效的数据处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

4.checkpoint

checkpoint解释为检查点，RDD的源代码中提到了这个概念，我是比较模糊的，也不想深究这个，暂且理解为将RDD缓存到文件中，这样的话和persist，或者cache的意思差不多，不过checkpoint的作用是用来支持容错，避免血系过长，当血系图过长时，就将RDD缓存，然后清除依赖，具体的网上也有详细介绍

此外，Spark中有个PairRDDFunctions类，该类有针对key-value对类型的RDD的各种方法，如常见的groupByKey，reduceByKey等，这些函数一般都涉及了shuffle操作，要使用这些函数，则RDD的类型必须为键值对，如上述的zip()函数就可以生成键值对，当然其他函数也可生成。。。

至此RDD的部分讲解完毕，RDD有许多有用的API，这也是我认为Spark平台是处理大数据的一个优势之一，如果能够灵活运用RDD的这些方法，相信会达到事半功倍的效果。。。

未完待续。。。

(六)Spark源码理解之RDD----part4
天天向上
04-10 468
3.2 动作 Spark中也有相应的动作函数，这些动作即可生成我们所需的最终结果，也是因为这些动作才真正触发了Spark的调度 3.2.1 foreach foreach()函数是对RDD中的每个元素调用函数，结果为Unit，即空类型 如： val disData1=sc.parallelize(Array(1,2,3,4),2) d.foreach(println) 结果：1,
Spark基础【RDD依赖关系--源码解析】
weixin_43923463的博客
08-17 312
主要为shuffle设计，如果存在shuffle，需要一个完整的阶段（resultStage）一分为二，前一个阶段（shuffleMapStage）用于写数据和进行数据的落盘，前一个阶段执行完成才可以进行下一个阶段，resultStage包含shuffleMapStage。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。相邻两个RDD之间的关系，称之为依赖关系，多个连续的依赖关系称之为血缘关系。...
RDD Transformation——cartesian
搬砖小工053
07-24 1643
说明从名字就可以看出这是笛卡儿的意思，就是对给的两个RDD进行笛卡儿计算。def cartesian[U: ClassTag](other: RDD[U]): RDD[(T, U)]该函数返回的是Pair类型的RDD，计算结果是当前RDD和other RDD中每个元素进行笛卡儿计算的结果。最后返回的是CartesianRDD。上手使用scala> val rdd1 = sc.makeRDD(List
(六)Spark源码理解之RDD----part3
天天向上
03-31 701
3.1.9 cartesian cartesian()函数返回RDD和其他RDD的笛卡尔乘机，生成新的RDD，即CartesianRDD 如： val disData1=sc.parallelize(Array(1,2,3),2)     val disData2=sc.parallelize(Array(2,3), 2) val d=disData1.cartesian(dis
(六)Spark源码理解之RDD----part2
天天向上
03-30 579
3.1.3 filter Filter()函数也是对RDD中的每一个元素都调用了f函数，若函数值为真，则保留该元素，最终保留的元素构成一个新集合，新生成了FilteredRDD，也是一对一的操作， 如： val disData=sc.parallelize(Array(1,2,3,4,5),2) val d1=disData.filter(s=>(s>2)).collect
(六)Spark源码理解之RDD----part1
天天向上
03-22 539
（3）针对分区的计算函数 接下来讲讲RDD的各种函数操作，正是有了这些函数才使得RDD能完成各自功能 3.1.转换     RDD中有各种转换操作，正是因为有了这些转换操作，我们才能实现各种应用程序，正如之前我们所说RDD实质上就是一个Java类，因此它的各种转换操作其实也就是RDD类中的方法，转换操作其实就是从RDD类生成了其他的类，如MappedRDD，FilteredRDD类等等 3
【Spark系列3】RDD源码解析实战
最新发布
qq_33592535的博客
01-28 1401
RDD：弹性分布式数据集，Resillient Distributed Dataset的缩写。个人理解：RDD是一个容错的、并行的数据结构，可以让用户显式的将数据存储到磁盘和内存中，并能控制数据的分区。同时RDD还提供一组丰富的API来操作它。本质上，RDD是一个只读的分区集合，一个RDD可以包含多个分区，每个分区就是一个dataset片段。RDD可以互相依赖。
Spark源码-spark算子-2-shuffle类算子
m0_37817767的博客
08-17 779
spark源码、spark算子
spark 源码分析之十八 -- Spark存储体系剖析
zdy0_2004的专栏
07-24 426
目录 总述 SecurityManager 概述 类结构 成员变量 核心方法 总结 BlockManagerMaster 概述 类结构 成员变量 ShuffleClient 类说明 核心方法 BlockTransferService 类说明 核心方法 ManagedBuffer的三个子类 NettyBlockTransfer...
spark源码之RDD源码分析
daxuddaai的博客
04-07 540
RDD的五大特性： 1.partitions_：partition数组 2.dependencies_:Dependency序列 3. compute：计算函数 4. Partitioner：分区器 5. Preferred Locations:存储存取每个Partition的优先位置 一、dependency 在RDD中dependencies_是专门用来存储当前RDD的父dependency序列。 dependencies方法，用于获取当前RDD的所有依赖的序列，源码如下： pack
spark core源码阅读-RDD详细介绍(四)
吃货先生的博客
02-11 4904
之前对RDD有一个大体概念了解,这一节我们需要深入了解它,了解在源码中到底是什么, 怎么产生的,给个rdd之间怎么依赖的,最后又怎么生成spark job 我们还是先从一个例子下手: val sc = new SparkContext(sparkConf) val res = sc .textFile(args(0)) .flatMap(line => line.spli...
SparkRDD - 基础编程
Sarahdsy的博客
06-09 826
SparkRDD - 基础编程 RDD序列化 闭包检测 从计算的角度，算子以外的代码都是在Driver端执行，算子里面的代码都是在Executor端执行。那么在scala的函数式编程中，就会导致算子内经常会用到算子外的数据，这样就形成了闭合的效果。 如果使用的算子外的数据无法序列化，就意味着无法传值给Executor端执行，就会发生错误。所以，需要在执行任务计算前，检测闭包内的对象是否可以进行序列化，这个操作我们称之为闭包检测。 Scala2.12版本后闭包编译方式发生了改变。 源码说明 我们执行col
Windows7+Pycharm搭建Spark的开发环境
天天向上
03-30 9094
一般，我都会在Eclipse中安装Scala插件，用Scala语言编写Spark程序，之后将程序导出为JAR文件，再复制到Spark平台上运行，因为XX原因，现在想尝试用python写Spark程序，于是在Windows+Pycharm的环境下搭建了相应的开发环境 首先，安装py4j（虽然其实我并不知道这是个什么东东，但是，因为没有安装它搞得一直出问题，所以啊。。。谨慎。。） 本来我最开始是打
(一) spark源码理解之SparkContext
天天向上
03-04 2209
好久没更新博客了，过年在家变懒了，哈哈。。继续坚持写博客，刚开始接触Spark是在学校举行的一次讲座上，在那之前对于Spark一无所知，听完讲座后觉得Spark在这个大数据时代必然会有它的用武之地，刚好又碰上师兄的毕业设计用到了Spark，于是开始尝试了解Spark，学习Spark的过程是比较艰辛且孤独的，因为身边懂Spark的人比较少，网上资源也不尽详细，但是我仍然收获颇多，可能接下来关于Spa
(三)spark源码理解之MapOutTracker
天天向上
03-06 1426
MapOutTracker主要用来存放shuffle map stage的输出，因为主从节点的MapOutTracker实现机制不一样，所以它是一个抽象类，主要维护和记录map的状态，添加或移除shuffle，以及从节点从主节点上获取相应shuffle的状态                                        1.MapOutTrackerMaster
(二)spark源码理解之SparkEnv
天天向上
03-05 1192
SparkEnv是Spark中比较重要的一部分，它构成了Spark赖以生存的环境，只有这个环境搭建好了，Spark才能正常运行 1.创建安全管理器securityManager，它主要负责spark在不同部署模式下的安全工作，包括认证（网络连接时需要，它有口令认证方式，认证的构成部分包括请求的URL，请求端口，请求协议等等），和密钥的生成(在yarn部署模式下，通过generateSecretK
(九)Spark应用程序在不同部署模式下的运行方式
天天向上
10-16 1083
我们知道Spark可以运行在不同模式下，这样的话当我们提交程序给Spark集群时就要修改相应的参数设置，在Spark学习的最后，我总结了几种常用模式下的运行命令(在Linux下运行)  PS:下文提到过的jar包是这样来的，我是在Windows下的eclipse中用scala语言编写的程序，所以我把程序导出为一个jar包，之后再传到Linux中相应的目录下 yarn模式： ./bin/spar
(五)Spark源码理解之BroadcastManager
天天向上
03-20 973
1.BroadcastManager，广播变量，是Spark实现分布式并行的一个重要特点之一，当一个stage读取了广播变量后，其他的stage也可以对该变量进行读写，从而加快数据处理速度 BroadcastManager有两种类型，一种为：HttpBroadcast，一种为TorrentBroadcast，Spark源码是以HttpBroadcast为例，所以我以HttpBroadcast为例
Spark-RDD-Scala 算子操作数据源分析
"data01.txt 是一个用于 Spark RDD Scala 算子操作的示例数据文件，包含多行数据，每行数据由四部分组成：姓名、技能领域、在该领域的评分（可能是技能掌握程度）和未知字段。数据涉及多个计算机科学和技术主题，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值