sparksubmit的执行流程

最新推荐文章于 2024-08-19 14:50:43 发布
最新推荐文章于 2024-08-19 14:50:43 发布
阅读量468 收藏 1
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_38976693/article/details/81539904
本文详细介绍了使用sparksubmit提交Spark任务后的运行流程，包括master与worker的连接建立、资源申请与分配、executor启动及task执行过程。同时，还对比了Yarn与Spark StandAlone两种模式下的调度机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

sparksubmit提交任务之后的任务运行流程如下：

1、master与worker建立连接   master中有worker的信息  内存 核数 资源 IO 网络等信息

2、worker每段时候会向master发送心跳报活

3、Driver发送任务，首先会向master申请资源

4、master与worker进行rpc通信，让worker启动executor  

5、executor启动后会主动连接driver 

6、driver会产生task  然后通过网络发送给executor ，然后在executor中执行真正的运算逻辑

 

 Yarn和Spark的StandAlone调度模式对比

 ResouceManager        Master   管理子节点、资源调度、接收任务请求
 NodeManger                Worker   管理当前节点，并管理子进程
 YarnChild                    Executor 运行真正的计算逻辑的（Task）
 Client                          SparkSubmit  （Client + ApplicaitonMaster）提交app，管理该任务的Executor
 ApplicaitonMaster                      并将Task提交到（Executor）   DRIVER

 

hive on spark 执行流程_3. Spark原理-执行流程解析
weixin_39922394的博客
01-11 1137
概念Job当在RDD上执行Action操作时就会提交一个Job。这个Job会将RDD分为多分，并将每份RDD提交到集群执行。Stage当一个Job提交后将分解为多个Stage。Task一个Stage可分解为多个Task。Task分为Shuffle map Task和Result Task。其中Shuffle map Task任务是将一个现有的RDD转化为一个新的RDD。Result Task在RD...
Spark任务执行流程与运行架构
qq_25073261的博客
08-13 922
1.Spark的执行流程 1、说明 (1)构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源； (2)资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上； (3)SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task
Spark源码系列（一）spark-submit提交作业过程
01-30
折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个Driver Program的过程。我们先看一下用SparkSubmit提交的方法吧，下面是从官方上面摘抄的内容。这个是提交到standalone集群的方式，打开spark-submit这文件，我们会发现它最后是调用了org.apache.spark.deploy.SparkSubmit这个类。我们直接进去看就行了，main函数就几行代码
Spark-submit执行流程，了解一下
华为云官方博客
12-11 1794
摘要：本文主要是通过Spark代码走读来了解spark-submit的流程。 1.任务命令提交 我们在进行Spark任务提交时，会使用“spark-submit -class .....”样式的命令来提交任务，该命令为Spark目录下的shell脚本。它的作用是查询spark-home，调用spark-class命令。 if [ -z "${SPARK_HOME}" ]; then source "$(dirname "$0")"/find-spark-home fi # disable ra
图解Spark程序运行时SparkSubmit的执行流程
weixin_43616627的博客
02-07 667
在Spark的yarn-cluster运行模式下，当使用spark-submit脚本提交程序之后，会依次创建三个进程，它们分别是：SparkSubmit，ApplicationMaster和CoarseGrainedExecutorBackend，在本文中我们先分析一下SparkSubmit的生命周期： 需要注意的是，Client并不是一个进程；另外虽然调用了其run方法，但是并没有创建子线程，...
Spark Submit任务提交流程
fengshaungme的博客
01-25 5637
1，简介 在上一篇博客中，我们详细介绍了Spark Standalone模式下集群的启动流程。在Spark 集群启动后，我们要想在集群上运行我们自己编写的程序，该如何做呢？本篇博客就主要介绍Spark Submit提交任务的流程。 2，Spark 任务的提交 我们可以从spark 的官网看到，spark-submit的提交格式如下： ./bin/spark-submit –class –ma...
spark源码阅读二-spark-submit执行过程
David的专栏
08-02 551
在spark-shell提交spark任务或者在某个clinet机器命令行运行spark-submit脚本提交任务，其实都执行的spark-submit脚本。 spark-submit脚本代码
图解Spark任务提交执行流程总结
伟红-long-term
08-30 1008
一、Spark基于Standalone任务提交 根据Driver在集群中的位置分为两种模式： 一种是Standalone-Clien模式，另一种是Standalone-Cluster模式 (1）Standalone-Clien模式 Standalone-Clien模式，Driver运行在本地的客户端上 提交命令 ./spark-submit --master spark://node1:70...
请详述spark核心执行流程,如何使用sparksubmit在客户端提交job后如何通过standalo
06-10
Spark的核心执行流程大致如下： 1. Spark Driver程序将Spark应用程序转换为DAG（有向无环图）并将任务提交给Cluster Manager。 2. Cluster Manager接收到任务后，为每个任务分配一个Executor。 3. 每个Executor...
请详述Spark核心执行流程，如何使用SparkSubmit在客户端提交job后如何通过Standalone模式获取资源并执行Spark任务计算。
07-09
Spark核心执行流程大致如下： 1. 客户端（可能是一个Spark应用程序）使用SparkSubmit工具提交一个Spark作业。 2. SparkSubmit将作业的相关信息发送给集群管理器（如Standalone、YARN或Mesos）。 3. 集群管理器...
Spark提交作业运行过程
leishenop的专栏
09-11 1150
背景 最近在学习Spark源码方面的知识，在这里大概了解了Spark整体的运行过程，从初始化到最终的底层运行。今天在这里进行详细的记录一下。一边以后的回顾和学习。Spark程序运行整体流程当SparkContext初始化完之后，我们通常会使用它来读取外部的数据，使之形成RDD。然后我们会经过一些列的RDD操作之后，到最后一个Action操作。从而触发了Job的提交。在Spark中RDD操作分为两种:
Spark-SparkSubmit详细过程
lu070828的博客
08-19 1112
1、编写Spark程序2、编写启动脚本使用spark-submit命令提交任务3、调用org.apache.spark.deploy.SparkSubmit中main方法4、判断提交参数中的模式，根据不同的模式设置不同的mainClass如果采用Standalone模式那么主类为：ClientApp5、执行ClientApp中的start方法6、构建RpcEnv环境并设置ClientEndpoint7、构建DriverDescription并向Master发起启动Driver的请求。
spark任务提交流程
zdryn的博客
04-04 687
spark任务提交流程 1、编写程序打成jar包 2、调用spark-submit脚本提交任务到集群上运行 3、发送请求到ResourceManager，请求启动applicationMaster 4、RS接收到请求后在集群上选择一个合适的NameNode节点，启动ApplicationMater 5、运行spark-submit的main方法，通过反射的方式创建主类的实例对象，然后调用main方法，开始执行代码 6、代码创建sparkcontext对象并对其初始化，同时创建DAGScheduler（将rd
Spark任务提交流程(整理版)
不积跬步无以至千里
05-26 2073
一、client提交任务到RM. 二、RM启动AM. 三、AM启动Driver线程, 并向RM申请资源. 四、RM返回可用资源列表. 五、AM通过nmClient启动Container, 并且启动ExecutorBackend后台进程. 六、Executor反向注册给Driver 七、Executor启动任务
Spark任务提交全流程（简述+全流程）
热门推荐
小黑的博客
03-20 1万+
概略: 1.Driver端启动SparkSubmit进程，启动后开始向Master进行通信，此时创建了一个对象（SparkContext），接着向Master发送任务消息 2.Master接收到任务信息后，开始资源调度，此时会和所有的Worker进行通信，找到空闲的Worker，并通知Worker来拿取任务和启动相应的Executor 3.Executor启动后，开始与Driver进行反向注册，...
Spark源码分析之SparkSubmit的流程
SmallCatBaby的博客
06-15 468
准备 本文主要对SparkSubmit的任务提交流程源码进行分析。Spark源码版本为2.3.1。 首先阅读一下启动脚本，看看首先加载的是哪个类，我们看一下spark-submit启动脚本中的具体内容。 spark-submit的shell脚本 可以看到这里加载的类是org.apache.spark.deploy.SparkSubmit，并且把...
Spark 源码阅读（5）——Spark-submit任务提交流程
Tomorrow never comes
03-18 1143
任务提交后执行前的逻辑：client端：1、spark-submit脚本提交任务，会通过反射的方式调用到我们自己提交的类的main方法2、执行我们自己代码中的new SparkContext    2.1、创建actorSystem    2.2、创建TaskSchedulerImpl 任务分发的类    2.3、创建SparkDeploySchedulerBackend 调度任务    2.4、...
Spark提交任务SparkSubmit执行流程
LINBE_blazers的博客
03-15 1585
很多人在使用Spark做计算时，都会对SparkSubmit Job之后执行流程比较模糊，尤其在Spark2.0之后正式使用Netty作为RPC通讯框架，在源码层对许多功能进行了抽象，这对一些Spark初学者来说，阅读源码是一件比较困难的事。不过笔者认为，虽然Spark2.0之后框架对功能层面做了很多的抽象工作，但其执行流程还没有什么改变。虽然笔者在工作已经使用了Spark2.2.1作为生产发行版...
spark源码阅读——2. spark-submit流程
ant的博客
05-20 396
任务提交流程： 几个重要的概念: Application:用户构建的spark应用程序，包括驱动程序Driver和在工作节点上运行的Executor代码 Driver: 驱动程序，运行Application中的main函数并创建sparkcontext，sc是应用程序的入口 Executor:工作节点上启动的进程，可以运行任务task，也可以在内存或磁盘中保存数据 Task:任务，由Ex...
spark submit 任务提交流程
最新发布
01-04
### Spark Submit 的工作流程和执行过程 #### 任务提交阶段 当通过 `spark-submit` 提交一个应用到集群上运行时，首先会解析命令行参数以及配置文件中的设置。这些参数指定了诸如主节点地址、使用的类路径以及其他必要的资源配置选项[^1]。 ```bash ./bin/spark-submit \ --master spark://207.184.161.138:7077 \ examples/src/main/python/pi.py \ 1000 ``` 此脚本向指定的 Master 节点发送请求来启动应用程序实例，并告知它要执行的具体程序位置及其入口方法或Python脚本名称等信息[^2]。 #### 驱动器初始化与调度 一旦接收到有效的作业提交请求后，Master 将负责创建一个新的 Driver 进程，在某些情况下可能会选择最合适的 Worker 来承载这个新的驱动器进程。这一步骤涉及到资源分配评估，即寻找具有足够可用内存和其他硬件条件满足需求的工作节点[^4]。 对于 YARN 或 Mesos 环境下的部署模式，则由相应的框架内部机制完成上述决策逻辑；而对于独立版 (Standalone)，则是由内置算法决定最佳放置方案[^5]。 #### 应用程序执行期间的状态更新 随着 Driver 成功启动之后，便会开始加载用户定义好的业务逻辑代码——比如 Java 类或者 PySpark Script 文件，并按照既定计划分发计算任务给各个 Executor 执行单元处理数据集片段。与此同时，Driver 不断监控整个批处理进度并向客户端汇报最新状况直至全部结束为止[^3]。 ```python def main(): conf = SparkConf().setAppName("example") sc = SparkContext(conf=conf) # Your code here... if __name__ == "__main__": main() ``` 在整个过程中，日志记录功能可以帮助开发者追踪任何可能发生的错误消息或是性能瓶颈所在之处，从而便于后续优化改进措施实施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值