spark的作业提交流程

最新推荐文章于 2025-07-07 22:55:56 发布
最新推荐文章于 2025-07-07 22:55:56 发布
阅读量1.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： scala & spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_31598113/article/details/70832790
Spark的作业调度分为三个级别：DAGScheduler、TaskScheduler和SchedulerBackend。DAGScheduler将作业转化为stage，TaskScheduler接收并提交任务给后台调度器。在本地模式、伪分布式和分布式模式下，不同SchedulerBackend负责任务分配。任务最终由Worker节点的Executor执行，运行用户定义的业务逻辑。

spark的作业调度分为3个级别：DAG调度器 ==>TaskScheduler(任务调度器)==> SchedulerBackend(后台调度器)

 

第一级作业调度：DAG调度器DAGScheduler

当我们写好应用程序，程序里面有sc.count()或sc.collect()时，或者我们在scalashell发出的命令中有sc.count()或sc.collect()时（这俩函数都是action类的函数）于是启动了作业提交流程。流程如下（ ==> 符号表示进入下一步）

action函数调用sc.runjob() ==>  

由DAG调度器把作业转换成事件(event), DAG调度器把事件添加到EventProcessLoop(这是一个事件处理队列)==> 

线程EventThread会专门从EventProcessLoop队列中获取事件，交给DAGScheduler的事件处理方法==> 

最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark作业提交
jpfx6008的博客
08-11 1253
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，
spark任务的提交流程
认真学代码的shell
05-20 1413
fill:#333;color:#333;color:#333;fill:none;StandaloneYARNDriverExecutor。
Spark的作业提交流程
weixin_44786983的博客
05-27 427
@spark的作业提交流程图分析 话不多说 直接上图
大数据Spark（六十二）：Spark基于Yarn提交任务流程
最新发布
Lansonli（蓝深李）的博客
07-07 2003
本文介绍了Spark在Yarn模式下提交任务的两种方式：Yarn-Client和Yarn-Cluster模式。Yarn-Client模式中，Driver运行在客户端节点，适合测试环境；Yarn-Cluster模式中，Driver作为AM运行在集群内部，适合生产环境。文章详细说明了两种模式的提交命令和执行流程，并对比了它们的特点和使用场景。Yarn-Client模式便于查看任务结果但可能导致客户端负载过高，而Yarn-Cluster模式将Driver分散在集群中，需要通过Yarn WebUI查看结果
spark面试题—standalone模式下的提交流程
epitomizelu的专栏
07-15 449
spark-submit 提交代码，执行 new SparkContext()，在 SparkContext 里构造 DAGScheduler 和 TaskScheduler。 TaskScheduler 会通过后台的一个进程，连接 Master，向 Master 注册 Application。 （ Master 接收到 Application 请求后，会使用相应的资源调度算法，在 Worker 上为这个 Application 启动多个 Executor （Executor 启动后，会自己反向注册到 T.
Spark的作业提交流程简介
qq_43656596的博客
12-25 1221
这是自己读取源码并结合他人的总结，写的大概的流程，仅供参考 第一部分：大体流程 ClientActor 启动，会将用户提交的任务和相关的参数封装到 ApplicationDescription 对象中，然后提交给 master 进行任务的注册 master 接受到 clientActor 提交的任务请求时，会将请求参数封装成 Application，然后将其持久化，然后将其加入到任务队列 wai...
Spark应用提交流程详解（面试必问）
GDDGHS_的博客
11-20 916
驱动进程：先启动，会调用SparkContext来实现自身功能功能：申请资源启动Executor进程，解析代码构建Task、调度分配Task、监控Task运行。产生：一个Job由多个Stage构成，每个Stage都会转换成为一个 TaskSet【Task集合】集合，每个TaskSet中可以包含多个Task。功能：负责运行Driver分配的Task分区，每个Task使用1Core CPU来运行，可以将Task的数据缓存在内存中。
spark源码系列(一)：spark作业提交流程
03-16
Spark作业提交流程包括以下几个步骤： 1. 用户编写Spark应用程序，并将其打包成jar包。 2. 用户使用spark-submit命令提交应用程序，该命令会启动一个Driver程序。 3. Driver程序向Cluster Manager（如YARN或Mesos...
spark yarn 提交流程
文报的博客
12-09 2105
1.Client向RM提交请求,上传jar包到HDFS上 2.RM在集群中选择一个NM,在其上启动AppMaster，在AppMaster中实例化SparkContext(Driver) 3.AppMaster向RM注册应用程序并申请资源。RM监控AppMaster的状态直到AppMaster结束。 4.AppMaster申请到资源后，与NM通信在Container中启动Executor进程 5.Executor向driver反向注册，申请任务 6.Driver对应用进行解析，最后将Task发送到Exe..
Spark：作业提交流程以及提交方式
ihooger的博客
11-29 1434
作业提交流程 编写好一个 Spark App，编译成 jar。 上传到 Spark 机器，使用 spark-submit 提交作业。 根据提交作业的模式启动 Driver，并请求 Cluster Manager 分配资源启动 Executor 线程。 Executor 启动后反向注册到 Driver 中，Driver 会分发 jar 包到各个 Executor 上。 Driver 上的 SparkContext 会创建 task 发送给 Executor 执行。 任务执行完成，进程 kill。 作业提交
大数据系列之Spark作业提交流程剖析
qq_30003943的博客
08-06 476
文章目录大数据系列之Spark作业提交流程剖析1. 术语名词解释2. Driver、Worker、Executor功能介绍2.1 Driver功能介绍2.2 Worker功能介绍2.3 Executor功能介绍3. 作业提交3.1 Driver运行在Worker上的执行流程3.2 Driver运行在客户端3.3 YARN-Client模式3.4 YARN-Cluster模式 大数据系列之Spark作业提交流程剖析 1. 术语名词解释 ​ Spark架构使用了分布式计算中master-slave模型，mast
spark提交任务流程
m0_37967990的博客
04-28 2390
spark提交代码的两种方式：Standalone、Yarn。
Spark源码之任务提交流程
weixin_46429290的博客
06-04 1091
执行脚本提交任务，实际是启动一个 SparkSubmit 的 JVM 进程；SparkSubmit 类中的 main 方法反射调用 YarnClusterApplication 的 main 方法；YarnClusterApplication 创建 Yarn 客户端，然后向 Yarn 服务器发送执行指令：bin/java ApplicationMaster；Yarn 框架收到指令后会在指定的 NM 中启动 ApplicationMaster；ApplicationMaster 启动 Driver 线程，执
spark2.4.3(一)提交作业的整体流程
rover
05-09 630
任务提交和执行流程 以standalone模式为例的基本流程： spark-submit shell提交Application，提交到Driver进程。Spark使用DriverWrapper启动用户APP的main函数。 Driver进程执行Application应用代码，先构建sparkContext。 sparkContext初始化时，主要是构建出TaskScheduler和DAGScheduler。 TaskScheduler通过后台进程连接Master，向Master注册Application.
Spark系列文章一：Spark 提交任务流程详解
myc1234567的博客
10-18 8939
一、spark提交任务流程概述 1.1、流程概述 1、构建spark执行环境（初始化sparkcont）； 2、SparkContext向资源管理器注册并申请Executor资源； 3、资源管理器分配Executor资源，Executor向资源管理器发送心跳汇报状态； 4、Executor向sc注册并申请task； 5、sc向Executor发送task，Executor执行task； 6、运行完成后，sc向资源管理器申请注销资源。 1.2、流程图解（多图） 二、spark...
spark job提交过程
Alex_Sheng_Sea的博客
10-19 336
Driver的任务提交过程 1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。 2、SparkContext调用DAGScheduler的runJob函数。 3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。 4、通过TaskScheduler把Tasks添加到任务队列当中，交给SchedulerBackend进行资源分配和任务调度。 5、调度器给Task分配执行Exe
Spark Streaming 执行流程
weixin_30662849的博客
08-30 175
原文连接http://xiguada.org/spark-streaming-run/‎ Spark Streaming 是基于spark的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。 本节描述了Spark Streaming作业的执行流程。 图1 Spark Streaming作业的执行流程 具体流程： ...
Spark任务提交流程
HanJuly9569的博客
03-08 1004
Spark提交任务流程 总体概况： 1.在提交脚本中配置需要的资源（粗颗粒分配），向ResourceManager提交app 2.RM启动一个NM来启动ApplicationMaster,driver运行在此机器上，并创建了DAGScheduler,TaskScheduler. 3.AM向RM请求资源的，AM然后在对应的NM启动Excutor 4.Excutor初始化线程池并向driver注册，为driver监控做准备 5.Driver开始执行用户写的代码，遇到action时产出一个job 6.DAG 根
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值