Spark任务提交流程及任务调度概述

最新推荐文章于 2024-08-11 23:51:02 发布
最新推荐文章于 2024-08-11 23:51:02 发布
阅读量308 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Jingmingtao11/article/details/132897027
本文介绍了Spark任务的提交流程，从Client向ResourceManager申请资源启动ApplicationMaster，再由ApplicationMaster和Driver协调Executor的启动和任务调度。在任务调度部分，讨论了Spark中的job、stage和task概念，以及Stage级和Task级调度的过程。DAGScheduler负责Stage划分，TaskScheduler执行Task分发，整个调度过程涉及Driver、Executor和SchedulerBackend的交互。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark任务提交流程

        提交一个Spark应用程序,首先通过Client向ResourceManager请求启动一个Application,同时检查是否有足够的资源满足Application的需求,如果资源条件满足,则准备ApplicationMaster的启动上下文,交给ResouceManager,并循环监控Application状态

        当提交的资源队列中有资源时,ResourceManager会在某个NodeManager上启动ApplicationMaster进程,AplicationMaster会单独启动Driver后台线程,当Driver启动后,ApplicationMaster会通过本地的RPC连接Driver,并开始向ResourceManager申请Container资源运行Executor进程(一个Executior对应一个Container),当ResourceManager返回Container资源,ApplicationMaster则在对应的Co

最低0.47元/天 解锁文章

200万优质内容无限畅学
Jingmingtao11
关注
Spark系列文章一：Spark 提交任务流程详解
myc1234567的博客
10-18 8838
一、spark提交任务流程概述 1.1、流程概述 1、构建spark执行环境（初始化sparkcont）； 2、SparkContext向资源管理器注册并申请Executor资源； 3、资源管理器分配Executor资源，Executor向资源管理器发送心跳汇报状态； 4、Executor向sc注册并申请task； 5、sc向Executor发送task，Executor执行task； 6、运行完成后，sc向资源管理器申请注销资源。 1.2、流程图解（多图） 二、spark...
spark任务的提交流程
最新发布
认真学代码的shell
05-20 1378
fill:#333;color:#333;color:#333;fill:none;StandaloneYARNDriverExecutor。
spark提交任务的流程
流的博客
02-15 824
1.spark任务提交阶段划分 spark提交任务分为五个状态，五个状态之间的有四个转换过程： （1）根据代码中的Transformations确定RDD。 （2）根据RDD确定RDD的类型和它们之间的血统关系，生成一个DAG。 （3）将DAG提交给DAGScheduler来划分出不同的task，以及task执行顺序和依赖关系。 （4）TaskScheduler调度任务，采用集群中配置的调度方式...
spark面试题—standalone模式下的提交流程
epitomizelu的专栏
07-15 443
spark-submit 提交代码，执行 new SparkContext()，在 SparkContext 里构造 DAGScheduler 和 TaskScheduler。 TaskScheduler 会通过后台的一个进程，连接 Master，向 Master 注册 Application。 （ Master 接收到 Application 请求后，会使用相应的资源调度算法，在 Worker 上为这个 Application 启动多个 Executor （Executor 启动后，会自己反向注册到 T.
Spark作业提交
jpfx6008的博客
08-11 1233
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，
Spark工作机制及任务调度策略
岁月的拾荒者
09-28 1649
1、Spark运行架构 1.1、运行架构 Spark框架的核心是一个计算引擎，整体来说，它采用了标准master-slave的结构。 如下图所示，它展示了一个Spark 执行时的基本结构。图形中的 Driver 表示 master，负责管理整个集群中的作业任务调度。图形中的 Executor 则是 slave，负责实际执行任务。 2.2、Spark核心组件 2.2.1、Driver Spark驱动器节点，用于执行Spark任务中的main方法...
[spark] 从spark-submit开始解析整个任务调度流程
UFO的博客
11-01 2779
spark应用程序可以以Client模式和Cluster启动，区别在于Client模式下的Driver是在执行spark-submit命令节点上启动的，而Cluster模式下是Master随机选择的一台Worker通过DriverWrapper来启动Driver的。
Spark 作业从提交到运行的整个流程中涉及的组件和交互细节的概述
靡不有初，鲜克有终
07-22 444
不同的部署模式（如 Standalone、YARN、Mesos）可能会有一些细节上的差异，但基本的执行流程是相似的。Driver是Spark作业的控制节点，负责协调和管理作业的执行。- `SparkContext` 是 Spark 应用程序与 Spark 集群之间的主要接口，负责将作业提交给集群。- Spark 使用弹性分布式数据集（RDD）作为基本的数据抽象，支持数据的容错和并行操作。- 所有Task执行完成后，Driver结束作业，关闭所有Executor，并释放资源。
Spark任务提交 yarn-cluster模式 解决jvm内存溢出问题 以及简单概述jdk7方法区和jdk8元空间
chixushuchu的博客
12-20 1376
yarn-cluster 提价任务流程 1、提交方式 ./spark-submit --master yarn --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100 或者 ./spark-submit --master ...
Spark之【任务流程】
xiayuhaisong的博客
02-02 783
Spark的任务提交流程其实跟我们日常大数据部门需求开发流程极其类似。SparkContext相当于我们的产品经理，他会提出需求、确认口径，并且会规划整体的开发计划；资源管理器就是我们数据部门的小组长，他知道组内的开发资源，包括哪个工程师有时间，哪个工程师对需求响应的业务更加了解；Executor更像是我们的开发工程师，不断地向小组长反馈手中的工作量，并且向项目产品经理实时反馈开发进度。
Spark任务提交流程
HanJuly9569的博客
03-08 997
Spark提交任务流程 总体概况： 1.在提交脚本中配置需要的资源（粗颗粒分配），向ResourceManager提交app 2.RM启动一个NM来启动ApplicationMaster,driver运行在此机器上，并创建了DAGScheduler,TaskScheduler. 3.AM向RM请求资源的，AM然后在对应的NM启动Excutor 4.Excutor初始化线程池并向driver注册，为driver监控做准备 5.Driver开始执行用户写的代码，遇到action时产出一个job 6.DAG 根
spark任务提交流程
weixin_33849942的博客
11-05 156
这个是我在网上搬的： 原博客地址为：https://blog.youkuaiyun.com/xwc35047/article/details/78732738 上图是client以spark-submit形式提交作业后，从作业DAG划分、stage提交、taskSet提交，到task执行过程。步骤图上已经画出来，这里描述一下。 client submit作业，通过反射invoke执行用户代码main...
spark提交应用的全流程分析
jediael_lu的专栏
08-05 6924
spark提交应用的全流程分析@(SPARK)[spark]本文分析一下spark的应用通过spark-submit后，如何提交到集群中并开始运行。先介绍一下spark从提交到运行的全流程，下面再详细分析。 1、用户通过spark-submit脚本提交应用。 2、spark-submit根据用户代码及配置确定使用哪个资源管理器，以及在合适的位置启动driver。 3、driver与集群管理器(如YA
Spark任务提交流程(整理版)
不积跬步无以至千里
05-26 2072
一、client提交任务到RM. 二、RM启动AM. 三、AM启动Driver线程, 并向RM申请资源. 四、RM返回可用资源列表. 五、AM通过nmClient启动Container, 并且启动ExecutorBackend后台进程. 六、Executor反向注册给Driver 七、Executor启动任务
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值