Spark技术内幕：Stage划分及提交源码分析

最新推荐文章于 2019-02-26 10:09:00 发布
最新推荐文章于 2019-02-26 10:09:00 发布
阅读量822 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gaowenhui2008/article/details/44452621
Spark 专栏收录该内容
18 篇文章 ¥19.90 ¥99.00
订阅专栏
本文深入探讨了Spark作业提交的过程，从RDD的count操作开始，详细解析了`DAGSchedulerEventProcessActor`的角色，它是DAGScheduler的外部接口。在`handleJobSubmitted`方法中，创建了finalStage，并介绍了Stage的划分条件。文章还阐述了Stage的创建，特别是如何通过`newStage`函数确定parent Stages，并分析了Stage转换为TaskSet以提交到Executor执行的流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

当触发一个RDD的action后，以count为例，调用关系如下：

  1. org.apache.spark.rdd.RDD#count
  2. org.apache.spark.SparkContext#runJob
  3. org.apache.spark.scheduler.DAGScheduler#runJob
  4. org.apache.spark.scheduler.DAGScheduler#submitJob
  5. org.apache.spark.scheduler.DAGSchedulerEventProcessActor#receive（JobSubmitted）
  6. org.apache.spark.scheduler.DAGScheduler#handleJobSubmitted

其中步骤五的DAGSchedulerEventProcessActor是DAGScheduler 的与外部交互的接口代理，DA

了解本专栏 订阅专栏 解锁全文
Spark技术内幕: Task向Executor提交的源码解析
GY的的专栏
03-19 1246
在上文《Spark技术内幕：Stage划分及提交源码分析》中，我们分析了Stage的生成和提交。但是Stage的提交，只是DAGScheduler完成了对DAG的划分，生成了一个计算拓扑，即需要按照顺序计算的Stage，Stage中包含了可以以partition为单位并行计算的Task。我们并没有分析Stage中得Task是如何生成并且最终提交到Executor中去的。 这就是本文的主题。 从
Spark技术内幕：究竟什么是RDD
热门推荐
anzhsoft的技术专栏
10-07 3万+
RDD是Spark最基本，也是最根本的数据抽象。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf 是关于RDD的论文。如果觉得英文阅读太费时间，可以看这篇译文：http://shiyanjun.cn/archives/744.html 本文也是基于这篇论文和源码，分析RDD的实现。 第一个问题，RDD是什么？Resilient Distributed Datasets（RDD，） 弹性分布式数据集。RDD是只读的、分区记录的集合。RD
spark技术内幕
10-09
spark技术深入内核源码分析.
Spark Stage 的划分
雪泪寒的博客
02-26 438
Spark Stage 的划分   Spark作业调度 对RDD的操作分为transformation和action两类，真正的作业提交运行发生在action之后，调用action之后会将对原始输入数据的所有transformation操作封装成作业并向集群提交运行。这个过程大致可以如下描述： 由DAGScheduler对RDD之...
spark中如何划分stage
weixin_42226057的博客
05-22 838
1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如reduceByKey,groupByKey的算子，会导致...
Spark技术内幕: Shuffle详解（一）
weixin_33862993的博客
11-29 191
通过上面一系列文章，我们知道在集群启动时，在Standalone模式下，Worker会向Master注册，使得Master可以感知进而管理整个集群；Master通过借助ZK，可以简单的实现HA；而应用方通过SparkContext这个与集群的交互接口，在创建SparkContext时就完成了Application的注册，Master为其分配Executor；在应用方创建了RDD并且在这个RDD...
Spark技术内幕: Shuffle详解（三）
weixin_34189116的博客
12-07 141
前两篇文章写了Shuffle Read的一些实现细节。但是要想彻底理清楚这里边的实现逻辑，还是需要更多篇幅的；本篇开始，将按照Job的执行顺序，来讲解Shuffle。即，结果数据（ShuffleMapTask的结果和ResultTask的结果）是如何产生的；结果是如何处理的；结果是如何读取的。在Worker上接收Task执行命令的是org.apache.spark.executor.Coars...
Spark技术内幕
12-19
Spark是不断壮大的大数据分析解决方案家族中备受关注的新增成员。它不仅为分布式数据集的处理提供一个有效框架，而且以高效的方式处理分布式数据集。它支持实时处理、流处理和批处理，提供了AllinOne的统一解决方案，使得Spark极具竞争力。, 本书以源码为基础，深入分析Spark内核的设计理念和架构实现，系统讲解各个核心模块的实现，为性能调优、二次开发和系统运维提供理论支持；本文最后以项目实战的方式，系统讲解生产环境下Spark应用的开发、部署和性能调优。
Spark技术内幕-深入解析Spark内核架构设计与实现原理（高清书签版）
03-23
Spark是不断壮大的大数据分析解决方案家族中备受关注的新增成员。它不仅为分布式数据集的处理提供一个有效框架，而且以高效的方式处理分布式数据集。它支持实时处理、流处理和批处理，提供了AllinOne的统一解决方案，使得Spark极具竞争力。《Spark技术内幕：深入解析Spark内核架构设计与实现原理》以源码为基础，深入分析Spark内核的设计理念和架构实现，系统讲解各个核心模块的实现，为性能调优、二次开发和系统运维提供理论支持；本文最后以项目实战的方式，系统讲解生产环境下Spark应用的开发、部署和性能调优。
Spark技术内幕 深入解析Spark内核架构设计与实现原理
05-22
Spark技术内幕 深入解析Spark内核架构设计与实现原理-----深入浅出的阐述spark的执行原理，内核架构，各个阶段的划分与调度
Spark技术内幕和快速数据处理.zip
05-12
大数据是最近几年比较火的行业，因为任何时候都离不开数据。那么我们怎么去处理数据呢？那么就可以选择spark。它是apache开源的分布式实时计算系统。
Spark Stage的划分
精益求精
09-14 2万+
RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。Spark中的Stage其实就是一组并行的任务，任务是一个个的task 。 窄依赖 父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。父RDD的一个分区去到子RDD的...
Spark源码分析之三：Stage划分
weixin_34367257的博客
02-16 287
继上篇《Spark源码分析之Job的调度模型与运行反馈》之后，我们继续来看第二阶段--Stage划分。 Stage划分的大体流程如下图所示： 前面提到，对于JobSubmitted事件，我们通过调用DAGScheduler的handleJobSubmitted()方法来处理。那么我们先来看下代码： /...
Spark修炼之道（高级篇）——Spark源码阅读：第四节 Stage划分
weixin_34301132的博客
10-24 231
Stage划分 在上一节中我们讲了 Spark Job的提交，在该讲中我们提到，当rdd触发action操作之后，会调用SparkContext的runJob方法，最后调用的DAGScheduler.handleJobSubmitted方法完成整个job的提交。然后DAGScheduler根据RDD的lineage进行Stage划分，...
Spark Stage切分 源码剖析——DAGScheduler
xingoo
04-06 240
Spark Stage切分 源码剖析——DAGScheduler Spark中的任务管理是很重要的内容，可以说想要理解Spark的计算流程，就必须对它的任务的切分有一定的了解。不然你就看不懂Spark UI,看不懂Spark UI就无法去做优化...因此本篇就从源码的角度说说其中的一部分，Stage的切分——DAG图的创建 先说说概念 在Spa...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蒙奇·D·路飞-

感谢老板您就是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值