Spark源码精读之SparkSubmit（client）

已于 2023-03-19 12:04:25 修改
阅读量573 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark源码精读 文章标签： spark 大数据 分布式
于 2023-03-19 12:04:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/a5685263/article/details/129648859
文章详细介绍了SparkSubmit在YarnClient模式下的执行流程，从提交AM启动命令到RM，经过NM启动Spark进程，初始化SparkContext，获取Container资源，启动ExecutorBackend并执行Task的全过程。重点涵盖了从YarnAllocator到ExecutorBackend的交互步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、SparkSubmit（Client）总流程图

二、流程分析 

按照图1流程，整个提交过程可以分为9个步骤。

1、yarnClient提交AM的启动命令给RM。

2、RM找到空闲NM，启动用户自定义Spark进程。

3、初始化SparkContext时，注册AM。

4、创建YarnAlocator对象，并向RM获取Container资源。

5、YarnAlocator对象中laucherPool对象启动线程，并通过nmClient启动新的容器，并创建ExectuorBackend。

6、ExecutorBackend向DriverEndpoint注册。

7、DriverEndpoint回复true。

8、ExectuorBackend向DriverEndpoint提交LauchedExector消息。

9、DriverEndpoint将Task任务序列化后并回复LauchTask消息。

三、代码解析

待续

spark app提交流程之Client模式
m0_48187193的博客
06-15 569
spark提交app的流程。 文章目录spark提交app的流程。前言一、yarn--client模式提交app1.1 SparkSubmit的main方法1.1.1 SparkSubmitArguments类1.1.1.1 parse方法1.1.2 根据action的行为决定执行对应的方法1.2 SparkSubmit的submit方法1.3 SparkSubmit的runMain方法。1.3.1.先执行准备提交环境方法。**1.4 prepareSubmitEnvironmen方法1.5 doPrep
Spark submit 源码阅读
我思故我在
11-06 530
文档说明 1.1、文档描述 本文档以笔记的形式整理记录此次阅读spark2.4.4源码的理解与过程，希望做到尽可能的详细记录下spark2.4.4源码中的一些关键细节。作为日后工作解决工作中遇到的问题的参考。 本次的阅读无任何需求背景，旨在复习和学习一下spark2.4，源码阅读分为两个部分，第一部分是spark应用程序完整的执行周期，尽量仔细的过一遍运行机制；第二部分是spark 架构各个...
spark-submit源码解析
cclovezbf的博客
10-31 671
简化为 /data/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"exec $LIB_DIR/spark/bin/spark-submit "$@" --再次把参数传递给另外一个spark-submit。${CLOUERA_HOME}/spark/jars/*: --这里就有我们上面提到的proto jar。
【原】Spark中Client源码分析（一）
weixin_30565199的博客
03-23 124
在Spark Standalone中我们所谓的Client，它的任务其实是由AppClient和DriverClient共同完成的。AppClient是一个允许app（Client）和Spark集群通信的中间人，接受master URL、app的信息、一个集群事件的监听器以及事件监听的回调函数，主要和Master交互App相关的信息，DriverClient主要用于和Master交互Driver相...
spark源码解析-sparkSubmit分析
missv5的博客
11-25 361
1.引入 为了简单测试项目功能，我们可能只需要使用spark-shell就可以完成，但是企业级项目我们都是先打包好之后使用spark-submit脚本完成线上的spark项目部署。 ./bin/spark-submit \ --class com.example.spark.Test \ --master yarn \ --deploy-mode client \ /home/hadoop/dat...
Spark源码精读一线程池之消息派发线程池
Dream2World,SayHi
09-25 685
线程池消息派发器中的线程池“dispatcher-event-loop”混洗数据客户端线程池“shuffle-client”Netty的超时调度器“netty-rpc-env-timeout”Netty的RPC连接线程池“netty-rpc-connection”混洗数据服务端的线程池“shuffle-server” 消息派发器中的线程池“dispatcher-event-loop” 这个线程池，是用来派发Spark中Endpoint的消息的，比如OnStart，RpcMessage等。 这个线程池创建的时
Spark源码精读 之 ApplicationMaster
不积跬步无以至千里
03-14 547
Spark版本：V2.3.2。
【原】Spark中Client源码分析（二）
weixin_30781433的博客
03-23 126
继续前一篇的内容。前一篇内容为： Spark中Client源码分析（一）http://www.cnblogs.com/yourarebest/p/5313006.html DriverClient中的代码比较简单，它只有一个main函数，同时，和AppClient一样，它也有一个ClientEndpoint，只是两者的用途不一样。 1.Client Client中唯一的main方法如下： d...
Spark源码解析系列（三、client的注册）
yyoc97的专栏
02-23 532
文章目录回顾创建client调用onStart()注册application 回顾 上一节我们讲了SparkContext构造函数做的初始化，会创建TaskScheduler和DAGScheduler两个重要对象，TaskScheduler又会通过StandaloneSchedulerBackend构建Driver和client。这节我们接着看下client是如何进行注册的。 client = ...
提交Spark应用程序
梁辰兴的博客
04-26 1841
提交Spark作业后，观察Spark集群管理界面，其中“Running Applications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在Completed Applications表单下，可以看到当前应用执行完毕，返回控制台查看输出信息，出现了“Pi is roughly 3.1424157120785603”，说明Pi值已经被计算完毕。除了–master参数外，spark-submit还提供了一些控制资源使用和运行时环境的参数。进入Spark安装目录。
spark-submit提交application(yarn-client)源码阅读
卧龙居
01-07 1137
【Spark】使用spark-submit部署应用，Spark Application 运行的两种方式Client和Cluster
晚风中的自由
11-24 796
Spark为各种集群管理器提供了统一的工具来提交作业，这个工具是spark-submit。 如果在调用spark-submit时除了脚本或JAR包的名字之外没有其他的参数，那么这个Spark应用只会在本地执行。当我们希望将应用提交到Spark独立集群上的时候，可以将集群的地址和希望启动的每个执行器进程的大小作为附加标记提供。 --master标记指定要连接的集群URL； spark-su...
spark源码-任务提交流程之-1-sparkSubmit
m0_37817767的博客
07-21 913
spark源码阅读
【Spark2.0源码学习】-6.Client启动
weixin_30553777的博客
05-24 141
Client作为Endpoint的具体实例，下面我们介绍一下Client启动以及OnStart指令后的额外工作 一、脚本概览 下面是一个举例： /opt/jdk1.7.0_79/bin/java -cp /opt/spark-2.1.0/conf/:/opt/spark-2.1.0/jars/*:/opt/hadoop-2.6.4/etc/hadoop/ -X...
Spark核心源码（一）：spark-submit
hey拉布拉多的博客
07-28 547
1.Spark 源码相关目录介绍 spark 源码下载地址https://github.com/apache/spark 选择自己需要阅读的分支，目前spark 版本已经到3.0.0，因为目前线上使用的主要版本为2.3， 所以当前阅读源码还是以2.3 为主。 下图为整个spark源码的目录结构： bin 目录下存放的spark运行shell 相关的脚本，包括pyspark，sprkR，spark-shell，spark-sql等脚本。通过其中一个pyspark脚本分析，如何启动这些脚本的。 查看pysp
Spark源码(创建与yarn集群交互的client并运行)-第一期
Airy的博客
08-21 1084
决定从这一期开始写基于yarn模式部署的spark集群，将用户编写的代码(以WordCount为例子)提交到该集群上运行的一系列流程。 object Spark03_WordCount { def main(args: Array[String]): Unit = { val sparConf: SparkConf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkConte
【Spark】spark-submit作业提交及参数设定
热门推荐
发现问题，并解决问题，批判性思维
10-29 1万+
随着 application 的增加，需要不断安装新的包，而且不同 application 可能存在版本问题，这对于 client 模式来说或许还可以接受，但 cluster 模式肯定不行的，如果集群很大，装环境会很麻烦。在 client 模式下，Driver 就找在 Client 端，可以把 client 端的资源分发，而 cluster 模式下，Driver 可在集群任一节点，该节点是没有资源的。client：在客户端上启动driver，这样逻辑运算在client上执行，任务执行在cluster上。
SparkSubmit 提交作业源码流程粗略概述（含application中 driver、client、 executor的创建）
liben2007的博客
10-29 945
SparkSubmit 提交程序源码流程及application中 driver、client、 executor的创建源码基于1.5.1版本大体流程说明： （后续作补充修改） 1、通过 sparkSubmit 命令提交执行SparkSubmit的main函数， 2、在SparkSubmit的main函数中调用 prepareSubmitEnvironment 方法，这个方法用于
Spark yarn模式任务提交
奥特曼-QM的博客
11-13 568
1. Spark yarn模式任务提交 Spark yarn模式任务提交有两种，Yarn-cluster,Yarn-client，默认client 1.1 名词简介 1. ResourceManager 是集群所有应用程序的资源管理器，能够管理集群的计算资源并为每个Application分配，它是一个纯粹的调度器。 2. NodeManager 是每一台slave机器的代理，执行应用程序，并监控应...
深入解析Apache Spark源码
Spark的内存管理机制是其高性能的关键因素之一。 - **持久化**：Spark通过RDD的持久化机制来优化性能，支持内存和磁盘上的缓存。 - **内存池**：Spark的内存分为执行内存和存储内存，通过统一的内存管理池进行分配...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值