Spark RDD的Action执行过程——Task剖析

最新推荐文章于 2024-11-20 00:53:44 发布
最新推荐文章于 2024-11-20 00:53:44 发布
阅读量314 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： Spark Spark源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41321219/article/details/96899842
本文详细解析了Spark中Task Runner的运行机制，重点介绍了ShuffleMapTask和ResultTask的run方法，深入分析了MapPartitionsRDD的compute方法及其实现原理。

Pool会依次执行TaskRunner
在这里插入图片描述
下面就分析TaskRunner中的run方法
在这里插入图片描述
在这里插入图片描述
这里调用了task的run方法
在这里插入图片描述
在这里插入图片描述
这里调用了runTask方法,这个方法是一个抽象方法,有两种实现,一个是ShuffleMapTask的实现,另一个是ResultTask的实现
在这里插入图片描述
首先看一下比较复杂的ShuffleMapTask
这里的注意点在于writer.write方法中的rdd.iterator()方法
在这里插入图片描述
分析computerOrReadCheckpoint()方法
在这里插入图片描述
下面是MapPartitionsRDD的compute方法分析
这个方法就是task执行rdd上算子的实现.若实在是找不到已经计算好的结果,那最终就会调用这个方法进行计算
在这里插入图片描述
当然了不管结果是计算出来的还是直接取得的都要把task执行完成的消息传达会给executor
这里就向对应的executor的backend update了task的status
在这里插入图片描述
backend的statusUpdate方法
在这里插入图片描述
下面再来看一下ResultTask
在这里插入图片描述

【Spark】RDD的设计和运行原理
兰陵鸡王的博客
03-20 2522
Spark的核心是建立在统一的抽象RDD之上，使得Spark的各个组件可以无缝进行集成，在同一个应用程序中完成大数据计算任务。 RDD设计背景 在实际应用中，存在许多迭代式算法（比如机器学习、图算法等）和交互式数据挖掘工具，这些应用场景的共同之处是，不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入。 但是，目前的MapReduce框架都是把中间结果写入到HDFS中，带来了...
第7讲：Spark的运行机制和RDD详解
一叶扁舟的博客
08-23 2950
Spark运行原理spark是一个分布式，基于内存的适合迭代计算的大数据计算框架。基于内存也可以基于磁盘，它适于任何规模的数据的计算。
Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系和Application，Driver，Job，Task，Stage理解
zhaoguowei的博客
10-25 560
梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。 输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。 当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为I...
Spark源码解析系列（五、RDD的执行流程）
yyoc97的专栏
02-27 678
文章目录前言样例runJob 前言 上一节 我们看完了集群资源的分配及Executor启动，今天我们就来看下RDD的实际执行流程吧。默认大家已经知道spark中action和transformation两类算子的概念。 样例 def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local...
Spark RDD的Action执行过程——Executor对task的执行原理分析
qq_41321219的博客
07-17 344
当master在接收到RegisterApplication消息后会向worker发送LaunchDriver和LaunchExecutor消息来分别启动Driver和Executor。实际上这里启动Executor是指的启动CoarseGrainedExecutorBackend进程，而Executor只是CoarseGrainedExecutorBackend的内部的对象。 下面是backen...
深入理解Spark RDD——为什么需要RDD?
beliefer的博客
06-11 2812
RDD（Resilient Distributed Datasets，弹性分布式数据集）代表可并行操作元素的不可变分区集合。对于Spark的初学者来说，这个概念会十分陌生。即便是对于一些有Spark使用经验的人，要想说清楚什么是RDD，以及为什么需要RDD还是一件比较困难的事情。本文首先解释第二个问题。 为什么需要RDD？以下从数据处理模型、依赖划分原则、数据处理效率及容错处理4个方面解释Spa...
Spark RDD sortBy算子执行时进行数据 “采样”是什么意思？
z1941563559的博客
11-20 1080
理解如何通过采样来获得数据分布、计算边界，并将数据分配到相应分区的过程，确实比较抽象。我会通过一个简单的例子来帮助你更直观地理解这个过程。通过采样、排序和计算边界，确保了数据可以均匀地分配到不同的分区中，从而为排序等操作提供并行化的支持。这一过程使得 Spark 在处理大规模数据时能够有效地进行全局排序。
05-SparkRDD原理和编程接口
PenguinLittle的博客
03-18 835
1.弹性分布式数据集RDD 1.1.RDD概述 1.1.1.什么是RDD RDD（Resilient Distributed DataSet）弹性分布式数据集。是spark中最基本的数据抽象，是一个不可变的、可分区的、可并行计算的集合。 Resilient：数据可以选择性的存储在内存中，或者磁盘中 Distributed：分布式存储、分布式计算 DataSet：用于存放数据的数据集合 1.1.2.RDD的属性 A list of partitions：分区列表，数据集基本组成单位 说明：每个分区对应一个
Spark SQL优化之路——Hive篇
Christopher_L1n的博客
10-31 5268
Spark SQL针对Hive数据源的优化指南。
Spark之基本概念篇(RDD ,DAG,Task,TaskSet ,Stage,Shuffer,Job,dependency,Application,SparkContext)(3)
桂林算啦粉的博客
09-30 1484
一 什么是RDD RDD的全称是 Resilient Distributed Dataset ,是一个弹性的 ,可复原的分布式数据集 .是 Spark中最基本的抽象,是一个不可变的 /有多个分区的 / 可以并行计算的集合 . RDD中并不装真正要计算的数据 ,而装的是描述信息 ,描述以后从哪里读取数据 ,调用了什么方法 ,传入了什么函数 ,以及依赖关系等 . 二 RDD的特点 1 有一些列连续的分区 :分区编号从0开始,分区的数量决定了对应阶段Task的并行度 2 有一个函...
spark RDD action job的提交过程之 taskSchedule
gaoshui87的专栏
10-13 525
spark RDD action job的提交过程之 taskSchedule 在TaskSchedulerImpl中，有接收task 任务的接口 override def submitTasks(taskSet: TaskSet) { // 提交dag task 任务了 val tasks = taskSet.tasks logInfo("Adding task set " + taskSet
【Spark】Task、Partition、RDD等概念的理解
u011590738的博客
07-04 1132
有部分图和语句摘抄别的博客，有些理解是自己的补充的。梳理一下Spark中Task，Partition，RDD、Node数、Executor数、core数目的关系和Application，Driver，Job，Task，Stage理解
Spark中RDD的宽窄依赖 & 图解RDD执行中Application、Job、Stage、Task的关系
攻城狮Kevin
02-18 1906
目录 1. RDD之间的依赖（以分区为说明） 2. RDD任务划分原理 3. Spark中RDD执行阶段划分示意图 1. RDD之间的依赖（以分区为说明） 窄依赖：每一个父RDD的Partition中的数据，最多被子RDD的一个Partition使用（单分区 -> 单分区）；               窄依赖在源码里是OneToOneDependency 宽依赖：同一个父RD...
Spark核心RDD及相关算子
fengge18306的博客
05-15 884
目录 1. RDD是什么 2. RDD的五大属性 3.RDD图及相关理解 4.RDD的创建方式（共三种） 5.RDD的算子分类 6.cache ,persist ,checkpoint 区别 1. RDD是什么 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset: 就是一个集合，存储很多数据。 Distributed：它内部的元素进行了分布式存储.
Spark初相见-RDD/算子/执行流程/集群搭建
qq_38995159的博客
02-26 351
今天也要加油鸭～ 这是一份总结的学习笔记 路漫漫其修远兮，吾将上下而求索 可阅读可评论可分享可转载，希望向优秀的人学习 前言 1.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoo...
spark rdd分区与任务的关系
hexinghua0126的博客
01-08 3016
spark rdd分区与任务关系           rdd是弹性分布式数据集，分区是对rdd数据的划分。分区之后，job并行度增大。一个分区对应一个任务。           什么是任务，任务是job的执行逻辑单元。task会在excutor中执行。           当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一...
【Spark源码】RDD任务调度&任务执行
九筒的博客
05-13 283
工具环境 Intellij Idea 2018.03 spark3.0.0 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.0.0</version> </d
spark 源码分析（spark 触发Action 之后操作）
weixin_40809627的博客
12-12 473
本例以wc 为例子 （akka 为rpc 通讯框架） 1、我们进入savaAsTextFile 这个 action算子 2、上面算子通过多层封装（其中包换数据 转换和创建一些读写流） 最后通过 runjob 方法的入口开始提交任务（其中包含DAG 任务的划分流程等将DAG 切分成多个stage 然后将stage 切分成不同task 任务最后提交任务） 经过一系列的变换操作（通常增加一些提...
大数据之spark_spark的执行流程简介及初始Task数量的生成规则
WuBoooo的博客
09-17 447
spark的执行流程简介 1.类加载,通过反射调用指定类的main方法 2.创建SparkContext,跟Master通信,申请资源 3.Master跟Worker进行通信启动Executor 4.启动Eexcutor,并创建线程池 5.Executor向Driver反向注册 (前5步完成准备工作) 6.创建原始的RDD.例如textFile() 7.调用RDD中的Transformations算子 8.调用RDD中的Action算子,Action中会调用sc.runJob方法 9.构建DAG,根据shu
Spark DAG执行过程
最新发布
04-30
### Spark 中 DAG 的执行过程和原理 #### 1. DAG 的定义与作用 在 Spark 中，DAG（Directed Acyclic Graph，有向无环图）表示的是 RDD 之间的依赖关系。这些依赖关系通过 Transformation 和 Action 操作构建而成[^1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值