(六)Spark源码理解之RDD----part5

最新推荐文章于 2022-08-17 17:17:03 发布
原创 最新推荐文章于 2022-08-17 17:17:03 发布 · 827 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析了Spark中的RDD及其PairRDDFunctions类，详细介绍了RDD的基本概念、检查点功能以及键值对操作方法，如groupByKey和reduceByKey等。通过灵活运用这些API，可以实现高效的数据处理。

4.checkpoint

checkpoint解释为检查点，RDD的源代码中提到了这个概念，我是比较模糊的，也不想深究这个，暂且理解为将RDD缓存到文件中，这样的话和persist，或者cache的意思差不多，不过checkpoint的作用是用来支持容错，避免血系过长，当血系图过长时，就将RDD缓存，然后清除依赖，具体的网上也有详细介绍

此外，Spark中有个PairRDDFunctions类，该类有针对key-value对类型的RDD的各种方法，如常见的groupByKey，reduceByKey等，这些函数一般都涉及了shuffle操作，要使用这些函数，则RDD的类型必须为键值对，如上述的zip()函数就可以生成键值对，当然其他函数也可生成。。。

至此RDD的部分讲解完毕，RDD有许多有用的API，这也是我认为Spark平台是处理大数据的一个优势之一，如果能够灵活运用RDD的这些方法，相信会达到事半功倍的效果。。。

未完待续。。。

Spark基础【RDD依赖关系--源码解析】
weixin_43923463的博客
08-17 339
主要为shuffle设计，如果存在shuffle，需要一个完整的阶段（resultStage）一分为二，前一个阶段（shuffleMapStage）用于写数据和进行数据的落盘，前一个阶段执行完成才可以进行下一个阶段，resultStage包含shuffleMapStage。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。相邻两个RDD之间的关系，称之为依赖关系，多个连续的依赖关系称之为血缘关系。...
【Spark系列3】RDD源码解析实战
qq_33592535的博客
01-28 1511
RDD：弹性分布式数据集，Resillient Distributed Dataset的缩写。个人理解：RDD是一个容错的、并行的数据结构，可以让用户显式的将数据存储到磁盘和内存中，并能控制数据的分区。同时RDD还提供一组丰富的API来操作它。本质上，RDD是一个只读的分区集合，一个RDD可以包含多个分区，每个分区就是一个dataset片段。RDD可以互相依赖。
RDD Transformation——cartesian
搬砖小工053
07-24 1681
说明从名字就可以看出这是笛卡儿的意思，就是对给的两个RDD进行笛卡儿计算。def cartesian[U: ClassTag](other: RDD[U]): RDD[(T, U)]该函数返回的是Pair类型的RDD，计算结果是当前RDD和other RDD中每个元素进行笛卡儿计算的结果。最后返回的是CartesianRDD。上手使用scala> val rdd1 = sc.makeRDD(List
(六)Spark源码理解之RDD----part3
天天向上
03-31 721
3.1.9 cartesian cartesian()函数返回RDD和其他RDD的笛卡尔乘机，生成新的RDD，即CartesianRDD 如： val disData1=sc.parallelize(Array(1,2,3),2)     val disData2=sc.parallelize(Array(2,3), 2) val d=disData1.cartesian(dis
(六)Spark源码理解之RDD----part2
天天向上
03-30 592
3.1.3 filter Filter()函数也是对RDD中的每一个元素都调用了f函数，若函数值为真，则保留该元素，最终保留的元素构成一个新集合，新生成了FilteredRDD，也是一对一的操作， 如： val disData=sc.parallelize(Array(1,2,3,4,5),2) val d1=disData.filter(s=>(s>2)).collect
(六)Spark源码理解之RDD----part4
天天向上
04-10 476
3.2 动作 Spark中也有相应的动作函数，这些动作即可生成我们所需的最终结果，也是因为这些动作才真正触发了Spark的调度 3.2.1 foreach foreach()函数是对RDD中的每个元素调用函数，结果为Unit，即空类型 如： val disData1=sc.parallelize(Array(1,2,3,4),2) d.foreach(println) 结果：1,
(六)Spark源码理解之RDD----part1
天天向上
03-22 550
（3）针对分区的计算函数 接下来讲讲RDD的各种函数操作，正是有了这些函数才使得RDD能完成各自功能 3.1.转换     RDD中有各种转换操作，正是因为有了这些转换操作，我们才能实现各种应用程序，正如之前我们所说RDD实质上就是一个Java类，因此它的各种转换操作其实也就是RDD类中的方法，转换操作其实就是从RDD类生成了其他的类，如MappedRDD，FilteredRDD类等等 3
Spark源码-spark算子-2-shuffle类算子
m0_37817767的博客
08-17 811
spark源码、spark算子
spark 源码分析之十八 -- Spark存储体系剖析
zdy0_2004的专栏
07-24 439
目录 总述 SecurityManager 概述 类结构 成员变量 核心方法 总结 BlockManagerMaster 概述 类结构 成员变量 ShuffleClient 类说明 核心方法 BlockTransferService 类说明 核心方法 ManagedBuffer的三个子类 NettyBlockTransfer...
spark 源码之---DAGScheduler 耐心看完之后绝对有收获，
weixin_36630761的博客
08-07 383
忍不住先上一段官方的注释，感觉真的很好，不用看博客，就看这个，最原汁原味，还准确~ /** * The high-level scheduling layer that implements stage-oriented scheduling. It computes a DAG of * stages for each job, keeps track of which RDDs and stage outputs are materialized, and finds a * minim.
spark源码之RDD源码分析
daxuddaai的博客
04-07 577
RDD的五大特性： 1.partitions_：partition数组 2.dependencies_:Dependency序列 3. compute：计算函数 4. Partitioner：分区器 5. Preferred Locations:存储存取每个Partition的优先位置 一、dependency 在RDD中dependencies_是专门用来存储当前RDD的父dependency序列。 dependencies方法，用于获取当前RDD的所有依赖的序列，源码如下： pack
spark core源码阅读-RDD详细介绍(四)
吃货先生的博客
02-11 4928
之前对RDD有一个大体概念了解,这一节我们需要深入了解它,了解在源码中到底是什么, 怎么产生的,给个rdd之间怎么依赖的,最后又怎么生成spark job 我们还是先从一个例子下手: val sc = new SparkContext(sparkConf) val res = sc .textFile(args(0)) .flatMap(line => line.spli...
Windows7+Pycharm搭建Spark的开发环境
天天向上
03-30 9124
一般，我都会在Eclipse中安装Scala插件，用Scala语言编写Spark程序，之后将程序导出为JAR文件，再复制到Spark平台上运行，因为XX原因，现在想尝试用python写Spark程序，于是在Windows+Pycharm的环境下搭建了相应的开发环境 首先，安装py4j（虽然其实我并不知道这是个什么东东，但是，因为没有安装它搞得一直出问题，所以啊。。。谨慎。。） 本来我最开始是打
(一) spark源码理解之SparkContext
天天向上
03-04 2227
好久没更新博客了，过年在家变懒了，哈哈。。继续坚持写博客，刚开始接触Spark是在学校举行的一次讲座上，在那之前对于Spark一无所知，听完讲座后觉得Spark在这个大数据时代必然会有它的用武之地，刚好又碰上师兄的毕业设计用到了Spark，于是开始尝试了解Spark，学习Spark的过程是比较艰辛且孤独的，因为身边懂Spark的人比较少，网上资源也不尽详细，但是我仍然收获颇多，可能接下来关于Spa
(三)spark源码理解之MapOutTracker
天天向上
03-06 1450
MapOutTracker主要用来存放shuffle map stage的输出，因为主从节点的MapOutTracker实现机制不一样，所以它是一个抽象类，主要维护和记录map的状态，添加或移除shuffle，以及从节点从主节点上获取相应shuffle的状态                                        1.MapOutTrackerMaster
(二)spark源码理解之SparkEnv
天天向上
03-05 1222
SparkEnv是Spark中比较重要的一部分，它构成了Spark赖以生存的环境，只有这个环境搭建好了，Spark才能正常运行 1.创建安全管理器securityManager，它主要负责spark在不同部署模式下的安全工作，包括认证（网络连接时需要，它有口令认证方式，认证的构成部分包括请求的URL，请求端口，请求协议等等），和密钥的生成(在yarn部署模式下，通过generateSecretK
(九)Spark应用程序在不同部署模式下的运行方式
天天向上
10-16 1096
我们知道Spark可以运行在不同模式下，这样的话当我们提交程序给Spark集群时就要修改相应的参数设置，在Spark学习的最后，我总结了几种常用模式下的运行命令(在Linux下运行)  PS:下文提到过的jar包是这样来的，我是在Windows下的eclipse中用scala语言编写的程序，所以我把程序导出为一个jar包，之后再传到Linux中相应的目录下 yarn模式： ./bin/spar
(五)Spark源码理解之BroadcastManager
天天向上
03-20 982
1.BroadcastManager，广播变量，是Spark实现分布式并行的一个重要特点之一，当一个stage读取了广播变量后，其他的stage也可以对该变量进行读写，从而加快数据处理速度 BroadcastManager有两种类型，一种为：HttpBroadcast，一种为TorrentBroadcast，Spark源码是以HttpBroadcast为例，所以我以HttpBroadcast为例
java.lang.NullPointerException at org.apache.spark.sql.execution.SparkPlan.makeCopy(SparkPlan.scala:70) at org.apache.spark.sql.execution.SparkPlan.makeCopy(SparkPlan.scala:47) at org.apache.spark.sql.catalyst.plans.QueryPlan.mapExpressions(QueryPlan.scala:300) at org.apache.spark.sql.catalyst.plans.QueryPlan.canonicalized$lzycompute(QueryPlan.scala:375) at org.apache.spark.sql.catalyst.plans.QueryPlan.canonicalized(QueryPlan.scala:372) at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$7.apply(QueryPlan.scala:373) at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$7.apply(QueryPlan.scala:373) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) at scala.collection.immutable.List.foreach(List.scala:381) at scala.collection.TraversableLike$class.map(TraversableLike.scala:234) at scala.collection.immutable.List.map(List.scala:285) at org.apache.spark.sql.catalyst.plans.QueryPlan.canonicalized$lzycompute(QueryPlan.scala:373) at org.apache.spark.sql.catalyst.plans.QueryPlan.canonicalized(QueryPlan.scala:372) at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$7.apply(QueryPlan.scala:373) at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$7.apply(QueryPlan.scala:373) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) at scala.collection.immutable.List.foreach(List.scala:381) at scala.collection.TraversableLike$class.map(TraversableLike.scala:234) at scala.collection.immutable.List.map(List.scala:285) at org.apache.spark.sql.catalyst.plans.QueryPlan.canonicalized$lzycompute(QueryPlan.scala:373) at org.apache.spark.sql.catalyst.plans.QueryPlan.canonicalized(QueryPlan.scala:372) at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$7.apply(QueryPlan.scala:373) at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$7.apply(QueryPlan.scala:373) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) at scala.collection.immutable.List.foreach(List.scala:381) at scala.collection.TraversableLike$class.map(TraversableLike.scala:234) at scala.collection.immutable.List.map(List.scala:285) at org.apache.spark.sql.catalyst.plans.QueryPlan.canonicalized$lzycompute(QueryPlan.scala:373) at org.apache.spark.sql.catalyst.plans.QueryPlan.canonicalized(QueryPlan.scala:372) at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$7.apply(QueryPlan.scala:373) at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$7.apply(QueryPlan.scala:373) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234) at scala.collection.immutable.List.foreach(List.scala:381) at scala.collection.TraversableLike$class.map(TraversableLike.scala:234) at scala.collection.immutable.List.map(List.scala:285) at org.apache.spark.sql.catalyst.plans.QueryPlan.canonicalized$lzycompute(QueryPlan.scala:373) at org.apache.spark.sql.catalyst.plans.QueryPlan.canonicalized(QueryPlan.scala:372) at org.apache.spark.sql.catalyst.plans.QueryPlan.sameResult(QueryPlan.scala:413) at org.apache.spark.sql.execution.ScalarSubquery.semanticEquals(subquery.scala:58) at org.apache.spark.sql.catalyst.expressions.EquivalentExpressions$Expr.equals(EquivalentExpressions.scala:36) at scala.collection.mutable.HashTable$class.elemEquals(HashTable.scala:358) at scala.collection.mutable.HashMap.elemEquals(HashMap.scala:40) at scala.collection.mutable.HashTable$class.scala$collection$mutable$HashTable$$findEntry0(HashTable.scala:136) at scala.collection.mutable.HashTable$class.findEntry(HashTable.scala:132) at scala.collection.mutable.HashMap.findEntry(HashMap.scala:40) at scala.collection.mutable.HashMap.get(HashMap.scala:70) at org.apache.spark.sql.catalyst.expressions.EquivalentExpressions.addExpr(EquivalentExpressions.scala:54) at org.apache.spark.sql.catalyst.expressions.EquivalentExpressions.addExprTree(EquivalentExpressions.scala:96) at org.apache.spark.sql.catalyst.expressions.codegen.CodegenContext$$anonfun$subexpressionElimination$1.apply(CodeGenerator.scala:754) at org.apache.spark.sql.catalyst.expressions.codegen.CodegenContext$$anonfun$subexpressionElimination$1.apply(CodeGenerator.scala:754) at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59) at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48) at org.apache.spark.sql.catalyst.expressions.codegen.CodegenContext.subexpressionElimination(CodeGenerator.scala:754) at org.apache.spark.sql.catalyst.expressions.codegen.CodegenContext.generateExpressions(CodeGenerator.scala:808) at org.apache.spark.sql.catalyst.expressions.codegen.GenerateUnsafeProjection$.createCode(GenerateUnsafeProjection.scala:309) at org.apache.spark.sql.catalyst.expressions.codegen.GenerateUnsafeProjection$.create(GenerateUnsafeProjection.scala:373) at org.apache.spark.sql.catalyst.expressions.codegen.GenerateUnsafeProjection$.generate(GenerateUnsafeProjection.scala:362) at org.apache.spark.sql.catalyst.expressions.UnsafeProjection$.create(Projection.scala:155) at org.apache.spark.sql.execution.ProjectExec$$anonfun$9.apply(basicPhysicalOperators.scala:74) at org.apache.spark.sql.execution.ProjectExec$$anonfun$9.apply(basicPhysicalOperators.scala:73) at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsWithIndexInternal$1$$anonfun$apply$24.apply(RDD.scala:815) at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsWithIndexInternal$1$$anonfun$apply$24.apply(RDD.scala:815) at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323) at org.apache.spark.rdd.RDD.iterator(RDD.scala:287) at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323) at org.apache.spark.rdd.RDD.iterator(RDD.scala:287) at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323) at org.apache.spark.rdd.RDD.iterator(RDD.scala:287) at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323) at org.apache.spark.rdd.RDD.iterator(RDD.scala:287) at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323) at org.apache.spark.rdd.RDD.iterator(RDD.scala:287) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:96) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:53) at org.apache.spark.scheduler.Task.run(Task.scala:108) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:335) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745)
最新发布
08-30
修改Spark源码，增加空指针保护： ```scala // 示例：修改Utils.scala中的关闭钩子 def addShutdownHook(hook: Thread) { if (shutdownHooks.add(hook)) { try { Runtime.getRuntime.addShutdownHook(hook) } ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值