spark代码提交流程(Standalone)

最新推荐文章于 2024-11-22 20:25:50 发布
最新推荐文章于 2024-11-22 20:25:50 发布
阅读量594 收藏
点赞数 1
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zlx510tsde/article/details/78813753
版权



spark-submit提交代码
执行new SparkContext(),在SparkContext里构造DAGScheduler和TaskScheduler.
TaskScheduler会通过后台的一个进程，连接Master，向Master注册Application。
Master接收到Application请求后，会使用相应的资源调度算法，在Worker上为这个Application启动多个Executer。
Executor启动后，会自己反向注册到TaskScheduler中。
所有Executor都注册到Driver上之后，SparkContext结束初始化，接下来往下执行我们自己的代码。

每执行到一个Action，就会创建一个Job。Job会提交给DAGScheduler。
DAGScheduler会将Job划分为多个stage，然后每个stage创建一个TaskSet.

TaskScheduler会把每一个TaskSet里的Task，提交到Executor上执行。
Executor上有线程池，每接收到一个Task，就用TaskRunner封装，然后从线程池里取出一个线程执行这个task。
(TaskRunner将我们编写的代码，拷贝，反序列化，执行Task)
(每个Task执行RDD里的一个partition)

Spark任务提交流程(整理版)
不积跬步无以至千里
05-26 2026
一、client提交任务到RM. 二、RM启动AM. 三、AM启动Driver线程, 并向RM申请资源. 四、RM返回可用资源列表. 五、AM通过nmClient启动Container, 并且启动ExecutorBackend后台进程. 六、Executor反向注册给Driver 七、Executor启动任务
Spark应用提交流程详解（面试必问）
GDDGHS_的博客
11-20 862
驱动进程：先启动，会调用SparkContext来实现自身功能功能：申请资源启动Executor进程，解析代码构建Task、调度分配Task、监控Task运行。产生：一个Job由多个Stage构成，每个Stage都会转换成为一个 TaskSet【Task集合】集合，每个TaskSet中可以包含多个Task。功能：负责运行Driver分配的Task分区，每个Task使用1Core CPU来运行，可以将Task的数据缓存在内存中。
Spark任务提交底层原理
djph26741的博客
11-07 312
Driver的任务提交过程 1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。2、SparkContext调用DAGScheduler的runJob函数。3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。4、通过TaskScheduler把Task...
【Spark篇】--Spark中Standalone的两种提交模式
L先生AI课堂
02-04 746
一、前述 Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-master模式。 二、具体         1、Standalone-client提交任务方式 提交命令             ./spark-submit --master  spark://node01:7077 --class org.apac...
Spark提交流程
Poolweet_的博客
09-08 467
① 打包程序为 xxx.jar，上传到某个节点上 ② 执行一个 `SparkSubmit` ，在SparkSubmit中，会写各种配置信息（--master、CPU、内存） ③ 以 `client` 模式为例，会在提交的节点上启动一个 driver进程 ④ Driver就是我们的 `application`，Wordcount ⑤ 创建 `SparkContext` 对象，会在内部创建（`DAGscheduler`，`Taskscheduler`） ⑥ 在driver中，代码如果遇到了 `actio
Spark任务提交流程
HanJuly9569的博客
03-08 955
Spark提交任务流程 总体概况： 1.在提交脚本中配置需要的资源（粗颗粒分配），向ResourceManager提交app 2.RM启动一个NM来启动ApplicationMaster,driver运行在此机器上，并创建了DAGScheduler,TaskScheduler. 3.AM向RM请求资源的，AM然后在对应的NM启动Excutor 4.Excutor初始化线程池并向driver注册，为driver监控做准备 5.Driver开始执行用户写的代码，遇到action时产出一个job 6.DAG 根
【大数据学习 | Spark-Core】Spark提交及运行流程
2301_80912559的博客
11-22 797
3）启动的Executor 进程 会主动与 Driver端通信，Driver 端根据代码的执行情况，产生多个task，发送给Executor；被送到某个Executor上的工作单元，跟MR中的MapTask和ReduceTask概念一样，是运行Application的基本单位。4）Executor 启动 task 做真正的计算，每个Task 得到资源参数后，对相应的输入分片数据执行计算逻辑；运行 Application 的 main() 函数的节点，提交任务，并下发计算任务；spark的集群运行结构。
图解Spark任务提交执行流程总结
伟红-long-term
08-30 976
一、Spark基于Standalone任务提交 根据Driver在集群中的位置分为两种模式： 一种是Standalone-Clien模式，另一种是Standalone-Cluster模式 (1）Standalone-Clien模式 Standalone-Clien模式，Driver运行在本地的客户端上 提交命令 ./spark-submit --master spark://node1:70...
Spark
小道的博客
12-10 3888
Spark知识点
Python的Spark：Python的Spark基础（使用PySpark），代码示例
01-30
用Python火花 Apache Spark 是技术领域中最热门的新趋势之一。 它是实现大数据与机器学习结合的成果的最大潜力框架。 它运行速度快（由于在内存中进行操作，因此比传统的快100倍，提供健壮的，分布式的，容错的数据对象（称为 ），并通过诸如的补充包与机器学习和图形分析领域完美集成和 。 Spark在上实现，并且主要用 （一种类似于Java的功能性编程语言）编写。 实际上，Scala需要在您的系统上安装最新的Java并在JVM上运行。 但是，对于大多数初学者来说，Scala并不是他们首先学习的语言，它可以涉足数据科学领域。 幸运的是，Spark提供了一个很棒的Python集成，称为PySpark，它使Python程序员可以与Spark框架进行交互，并学习如何大规模操作数据以及如何在分布式文件系统上使用对象和算法。 笔记本电脑 RDD和基础 数据框 使用Python 3和Jupyter Notebook设置Apache Spark 与大多数Python库不同，让PySpark开始正常工作并不像pip install ...和import ...那样简单。我们大多数基于P
Spark任务的提交流程
下山化缘的DJ
07-16 461
Spark任务的提交流程 (1)、首先将程序打成 jar 包 (2)、使用spark-submit 脚本提交任务到集群上运行 (3)、运行 sparkSubmit 的 main 方法，在这个方法中通过反射的方式创建我们编写的主类的实例对象，然后调用 main 方法，开始执行我们的代码（注意，我们的 spark 程序中的 driver就运行在 sparkSubmit 进程中） (4)、当代码运行到创建 SparkContext 对象时，那就开始初始化 SparkContext 对象了 (5)、在初始化 Spa
spark任务的提交流程
m0_74903429的博客
02-27 819
第三步,因为在用户代码中,RDD算子会设计大量的转换操作,然后会通过一个动作(action)操作,触发任务的真正执行,在这里会按照RDD与RDD之间的依赖关系,首先会生成一个DAG的有向无环图,图的方向就是RDD算子的操作顺序,最终会将RDD DAG有向无环图发送给DAGScheduler对象;Master收到申请资源的请求后,向指定的worker节点发送请求,然后worker节点会开启对应的executor的进程。Executor进程会向driver发送注册请求,然后申请要计算的task。
spark提交任务流程
m0_37967990的博客
04-28 2181
spark提交代码的两种方式：Standalone、Yarn。
spark提交任务的流程
流的博客
02-15 763
1.spark任务提交阶段划分 spark提交任务分为五个状态，五个状态之间的有四个转换过程： （1）根据代码中的Transformations确定RDD。 （2）根据RDD确定RDD的类型和它们之间的血统关系，生成一个DAG。 （3）将DAG提交给DAGScheduler来划分出不同的task，以及task执行顺序和依赖关系。 （4）TaskScheduler调度任务，采用集群中配置的调度方式...
Spark 任务提交流程说明
Small_Ran的博客
07-02 5823
本篇主要阐述 Spark 任务提交的流程，其主要目的在于通过了解 Spark 任务提交可以清楚大概的流程，并知道每一步是做什么；当遇到问题可以快速的知道是什么环节或者哪一步骤出现了问题，及时定位到问题并解决。目前Spark官方支持五中集群管理模式，分别是 Standalone、Yarn、Mesoes、Kubernetes、Amazon EC2 等。本篇文章主要阐述笔者平时经常使用的 Standalone 与 Yarn 集群管理模式。..................
Spark任务提交全流程（简述+全流程）
热门推荐
小黑的博客
03-20 1万+
概略: 1.Driver端启动SparkSubmit进程，启动后开始向Master进行通信，此时创建了一个对象（SparkContext），接着向Master发送任务消息 2.Master接收到任务信息后，开始资源调度，此时会和所有的Worker进行通信，找到空闲的Worker，并通知Worker来拿取任务和启动相应的Executor 3.Executor启动后，开始与Driver进行反向注册，...
Spark（三）————作业提交流程
Jorocco的博客
07-05 3138
1、Spark核心API [SparkContext] 连接到spark集群,入口点. [RDD] 它是一个分区的集合. 弹性分布式数据集. 不可变的数据分区集合. 基本操作(map filter , persist) 分区列表 //数据 应用给每个切片的计算函数 //行为 到其他RDD的依赖列表 //依赖关系 (可...
spark提交
MOON
08-03 1150
这次主要讲一下spark的提交具体操作和流程。原来一直用，也没怎么深入查看，那么这次就来仔细看一下提交的学问。跟我们以前一样，我们以官网下手。这里我不在把英文贴上，直接进行。 在spark的bin文件夹下的spark-submit脚本是用来提交应用的。它能够通过一个统一的接口来使用所有spark支持的集群管理器，所以我们不必单独配置每一个应用。 如果你的代码依赖其他的项目，那么你需要与应用程序
spark submit 任务提交流程
最新发布
01-04
### Spark Submit 的工作流程和执行过程 #### 任务提交阶段 当通过 `spark-submit` 提交一个应用到集群上运行时，首先会解析命令行参数以及配置文件中的设置。这些参数指定了诸如主节点地址、使用的类路径以及其他...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值