spark提交job任务，源码分步骤拆解

Spark Job提交与执行详细解析
最新推荐文章于 2023-08-01 18:57:06 发布
原创 最新推荐文章于 2023-08-01 18:57:06 发布 · 433 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文详细介绍了Spark作业提交的整个流程，包括任务提交、DAG图创建、计算Task运行的最佳位置以及TaskSet的创建。从driver进程的创建到executor的启动，再到DAGScheduler如何拆解任务为DAG图，以及TaskScheduler如何根据stage划分taskset并提交到executor执行。文章深入到源码层面，解析每个关键步骤的具体实现。

spark提交job任务，源码分步骤拆解

流程

  1. spark客户端提交job
  2. 通过反射创建driver进程
  3. driver创建sparkContext对象
  4. 初始化sparkContext过程中，构建DAGScheduler和TaskScheduler
  5. TaskScheduler根据后台进程去连接Master向Master注册Application
  6. Master接收到Application的注册后，根据资源调度算法，在spark集群中为app启动多个executor
  7. master为每一个executor分配资源
  8. executor反向注册至driver，drvier完成sparkContext初始化、
  9. DAGScheduler根据任务进行job拆解成DAG图，划分stage
  10. TaskScheduler根据stage划分taskset
  11. taskScheduler会把Taskset里面的每一个pipeline提交到executor中执行
  12. 每一个executor都有一个线程池 ，executor会从根据每一个线程运行给一个TaskRunner
  13. 每一个task根据partition执行算子和函数

分步骤拆解详细流程

提交任务

提交任务行为是由执行算子创建的，比如foreach，count，collect等，标志性的表现就是在这些算子的源码中有一条sc.runJob，而其他转化型算子返回的是rdd，并不执行run操作

DAG图创建

  1. sc类中1928行runjob方法执行，会执行其中的dagScheduler的runJob方法

  2. dagScheduler中的runJob方法核心模块是submitJob也就是提交job

最低0.47元/天 解锁文章
Spark Task Scheduler划分task过程
qq_37163925的博客
06-02 971
前言 前面分析过了DAG Scheduler划分stage的过程【感兴趣的话可以看看DAG Scheduler划分stage的过程】，现在我们开始看看Task Scheduler是如何划分Task的。 正文 首先看DAG Scheduler提交TaskSet的方法，这个方法是submitMissingTasks(stage: Stage, jobId: Int)方法。(这个方法把stage和jobID传进去，stage存的是stage的最后一个RDD，这个RDD可以通过血缘关系将前面的RDD序列化) p
大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程、内存管理与分配、部署
黑泽君
05-02 1254
大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程 + Spark 内存管理与分配 + Spark 部署模式
Apache Spark源码走读之2 -- Job的提交与运行
weixin_33953249的博客
04-21 168
欢迎转载，转载请注明出处，徽沪一郎。 概要 本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。 实验环境搭建 在进行后续操作前，确保下列条件已满足。 下载spark binary 0.9.1 安装scala 安装sbt 安装java 启动spark-shell 单机模式运...
Spark job提交过程
cjlion的专栏
06-30 2535
本文基于spark2.111. 前言1.1 基本概念RDD关于RDD已经有很多文章了，可以参考一下理解Spark的核心RDD依赖依赖分为窄依赖和宽依赖，下图描述了两种依赖(图片出自spark窄依赖和宽依赖)20160913233559680.jpeg从途中可以看出，窄依赖中，每一个上游RDD中的分区只会被一个下游分区依赖。而宽依赖上游RDD中的分区则可能被多个下游分区依赖。宽依赖往往意味者shuf...
Spark-任务怎么切分
qq_40382400的博客
08-01 461
（1）Application：初始化一个SparkContext即生成一个Application；（4）Task：一个Stage阶段中，最后一个RDD的分区个数就是Task的个数。（2）Job：一个Action算子就会生成一个Job；（3）Stage：Stage等于宽依赖的个数加1；
Spark Core快速入门系列(5) | Spark中job的划分
Knight
08-18 1096
当遇到了宽依赖就会产生一个新的阶段 我们再多增加一条repartition(宽依赖) 再次查看多了一个stage 总结 job： 一个应用中，每碰到一个action，就会起一个job 一个应用可以有多个job stage： 阶段. 每碰到一个宽依赖就会在这个job内创建一个新的stage (如果遇到宽依赖的时候，用的分区器和当前一样，则不会起新的) 一个job至少有一个阶段 stage划分是从后向前划分，执行一定是从前往后 task 体系了执行数据分析的并行.
spark源码阅读笔记
04-13
- **DAG编程模型**：Spark采用了基于DAG（有向无环图）的编程模型，相比于MapReduce单一的Map-Reduce流程，Spark可以将复杂的计算任务拆解为一系列按需执行的任务段(stage)。这种模型允许数据在不同的任务间共享和...
Spark源码解析与优化技术
"Spark源码阅读笔记，涵盖了Spark的核心特性、设计原理以及与MapReduce的对比，强调了DAG编程模型、资源管理、RDD缓存和容错机制的优化" Spark作为一款由伯克利AMP实验室开发的数据处理框架，旨在提供高效、易用的...
spark之OOM常见问题梳理(一)
写轮眼之大数据
05-19 2377
我想变成那陪着疲倦的你一直看海的小小的白色的椅子。 —王小波 一、Spark报错信息 问题一 1.描述 org.apache.spark.shuffle.FetchFailedException 这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行，一直循环下去，非常的耗时。 图片 2.报错提示 (1) missing output location org.apache.spark.shuffle.MetadataFetchFailedException: Miss
Spark——Job逻辑执行图
小菜鸟的博客
04-18 2320
Job逻辑执行图典型的Job逻辑执行图如上所示,经过下面四个步骤可以得到最终执行结果:1.从数据源(可以是本地file,内存数据结构, HDFS,HBase等)读取数据创建最初的RDD。2.对RDD进行一系列的transformation()操作,每一个transformation()会产生一个或多个包含不同类型RDD。3.对最后的final RDD进行action()操作,每个partition...
Spark中job、stage、task的划分+源码执行过程分析
热门推荐
hjw199089的博客
09-11 1万+
job、stage、task  Worker Node：物理节点，上面执行executor进程 Executor：Worker Node为某应用启动的一个进程，执行多个tasks Jobs:action 的触发会生成一个job, Job会提交给DAGScheduler,分解成Stage, Stage:DAGScheduler 根据shuffle将job划分为不同的stage，同一个sta
spark job提交
jason的笔记
08-08 897
当用户生成sparkcontext是，在读入文件， 可以看出这里直接调用rdd的saveAsTextFile spark-master\spark-master\core\src\main\scala\org\apache\spark\api\java\JavaRDDLike.scala def saveAsTextFile(path: String): Unit = { #触发rdd的a...
Spark如何提交job
sonia_liss的博客
08-22 599
spark提交job方式 standalone方式 client 模式 cluster模式 yarn方式 client模式 完整体提交job语句： spark-submit --master yarn --deploy-mode client --executor-memory 2G --executor-cores 1 --class org.apache.spark.examp...
Spark Job 物理执行图详解
微信搜：import_bigdata，大数据领域硬核原创作者
04-13 445
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源在读本文前，你需要先预习：《Spark Job 逻辑执行图和数据依赖解析》《Spark的Cache和Checkpoint区别和联系...
5. Spark job提交流程源代码分析
cl2010abc的专栏
06-28 335
本文主要分析了job提交的流程，主要包括stage划分与Task提交的流程。
Spark任务提交底层原理
djph26741的博客
11-07 348
Driver的任务提交过程 1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。2、SparkContext调用DAGScheduler的runJob函数。3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。4、通过TaskScheduler把Task...
Spark：Job的三种提交模式
简单随风的博客
09-03 555
第一种，standalone模式，基于Spark自己的standalone集群。 指定–master spark://bigdata01:7077 第二种，是基于YARN的client模式。 指定–master yarn --deploy-mode client 这种方式主要用于测试，查看日志方便一些，部分日志会直接打印到控制台上面，因为driver进程运行在本地客户端，就是提交Spark任务的那个客户端机器，driver负责调度job，会与yarn集群产生大量的通信，一般情况下Spark客户端机器和Ha.
spark job提交5
jason的笔记
08-14 649
最终调用makeOffers来让所有的task执行在work中的executors spark-master\spark-master\core\src\main\scala\org\apache\spark\scheduler\cluster\CoarseGrainedSchedulerBackend.scala private def makeOffers() { // ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值