【Spark】超详细的Spark任务提交流程图

最新推荐文章于 2025-04-05 14:51:47 发布
最新推荐文章于 2025-04-05 14:51:47 发布
阅读量609 收藏
点赞数
分类专栏： # Spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43771096/article/details/110290230
版权

在这里插入图片描述

Spark任务提交流程
墨玉浮白的博客
04-21 2692
文章目录1.Standalone-Client2.Standalone-cluster3.Yarn-Client模式4.Yarn-Cluster 1.Standalone-Client [root@node4 bin]# ./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar 100 1.Cl
Spark系列文章一：Spark 提交任务流程详解
myc1234567的博客
10-18 8745
一、spark提交任务流程概述 1.1、流程概述 1、构建spark执行环境（初始化sparkcont）； 2、SparkContext向资源管理器注册并申请Executor资源； 3、资源管理器分配Executor资源，Executor向资源管理器发送心跳汇报状态； 4、Executor向sc注册并申请task； 5、sc向Executor发送task，Executor执行task； 6、运行完成后，sc向资源管理器申请注销资源。 1.2、流程图解（多图） 二、spark...
spark任务提交流程图
莫慌 吃口药
10-12 375
大数据Spark（五十七）：Spark运行架构与MapReduce区别
最新发布
Lansonli（蓝深李）的博客
04-05 2101
提供了更高级的编程接口，如 RDD（弹性分布式数据集）和 DataFrame，支持丰富的操作算子，使得开发者可以以更简洁的方式编写复杂的处理逻辑。：采用基于磁盘的处理方式，每个任务的中间结果需要写入磁盘，然后再读取进行下一步处理。：提供了相对低级的编程接口，主要包含 Map 和 Reduce 两个操作，开发者需要编写较多的代码来实现复杂的数据处理逻辑。Application运行前，为所有的Spark Job申请资源，所有Job执行完成后，统一释放资源。：主要用于批处理任务，不适合实时数据处理。
原创 | 8 张彩图讲解 Spark 任务提交流程
a934079371的博客
02-20 476
点击上方 "大数据肌肉猿"关注,星标一起成长后台回复【加群】，进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度看本文之前需要先了解 Spark 的基本角色，因为本...
Spark作业提交
jpfx6008的博客
08-11 1169
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，
Spark应用提交流程详解（面试必问）
GDDGHS_的博客
11-20 868
驱动进程：先启动，会调用SparkContext来实现自身功能功能：申请资源启动Executor进程，解析代码构建Task、调度分配Task、监控Task运行。产生：一个Job由多个Stage构成，每个Stage都会转换成为一个 TaskSet【Task集合】集合，每个TaskSet中可以包含多个Task。功能：负责运行Driver分配的Task分区，每个Task使用1Core CPU来运行，可以将Task的数据缓存在内存中。
图解Spark任务提交执行流程总结
伟红-long-term
08-30 982
一、Spark基于Standalone任务提交 根据Driver在集群中的位置分为两种模式： 一种是Standalone-Clien模式，另一种是Standalone-Cluster模式 (1）Standalone-Clien模式 Standalone-Clien模式，Driver运行在本地的客户端上 提交命令 ./spark-submit --master spark://node1:70...
Spark任务提交流程(整理版)
不积跬步无以至千里
05-26 2036
一、client提交任务到RM. 二、RM启动AM. 三、AM启动Driver线程, 并向RM申请资源. 四、RM返回可用资源列表. 五、AM通过nmClient启动Container, 并且启动ExecutorBackend后台进程. 六、Executor反向注册给Driver 七、Executor启动任务
spark提交任务的流程
流的博客
02-15 768
1.spark任务提交阶段划分 spark提交任务分为五个状态，五个状态之间的有四个转换过程： （1）根据代码中的Transformations确定RDD。 （2）根据RDD确定RDD的类型和它们之间的血统关系，生成一个DAG。 （3）将DAG提交给DAGScheduler来划分出不同的task，以及task执行顺序和依赖关系。 （4）TaskScheduler调度任务，采用集群中配置的调度方式...
Spark 任务提交流程说明
Small_Ran的博客
07-02 5837
本篇主要阐述 Spark 任务提交的流程，其主要目的在于通过了解 Spark 任务提交可以清楚大概的流程，并知道每一步是做什么；当遇到问题可以快速的知道是什么环节或者哪一步骤出现了问题，及时定位到问题并解决。目前Spark官方支持五中集群管理模式，分别是 Standalone、Yarn、Mesoes、Kubernetes、Amazon EC2 等。本篇文章主要阐述笔者平时经常使用的 Standalone 与 Yarn 集群管理模式。..................
spark任务的提交流程
m0_74903429的博客
02-27 820
第三步,因为在用户代码中,RDD算子会设计大量的转换操作,然后会通过一个动作(action)操作,触发任务的真正执行,在这里会按照RDD与RDD之间的依赖关系,首先会生成一个DAG的有向无环图,图的方向就是RDD算子的操作顺序,最终会将RDD DAG有向无环图发送给DAGScheduler对象;Master收到申请资源的请求后,向指定的worker节点发送请求,然后worker节点会开启对应的executor的进程。Executor进程会向driver发送注册请求,然后申请要计算的task。
spark提交过程分析（standalone模式）
clearlove_lbx的博客
06-21 352
一、构造SparkContext Paste_Image.png 1.1. 在shell下，通过spark-submit命令将Application提交到集群,此时spark会通过反射的方式，创建和构造一个DriverActor进程出来（scala中的actor类似java的多线程） 1.2. Driver进程会执行我们提交的Applicati...
头歌：Spark任务提交
weixin_62399938的博客
04-29 2675
这段脚本首先将 project.jar 复制到 /root 目录下，然后切换到 /opt/spark/dist/bin 目录。在 begin 和 end 之间，使用 spark-submit 命令提交 Spark 程序，其中 --master local 指定了本地模式，--class Student 指定了主类为 Student，最后指定了 jar 包的路径为 /root/project.jar。为了完成本关任务，你需要掌握：1.了解spark-submit的参数。第1关：spark-submit提交。
spark提交任务命令
weixin_44280356的博客
10-21 4169
Spark submit spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 spark 提交到 yarn 执行的例子如下。 spark-submit --master yarn --executor-memory 20G --executor-cores 2 --driver-memory...
Spark简介及运行流程图文解说
weixin_42163700的博客
06-20 3251
初识Spark的朋友 ，下面是我汇总后的Spark总结和自己整合的一张流程图，希望可以帮助到你，也可以给我提出建议，一同进步1.认知Spark：Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表...
spark提交应用的全流程分析
jediael_lu的专栏
08-05 6907
spark提交应用的全流程分析@(SPARK)[spark]本文分析一下spark的应用通过spark-submit后，如何提交到集群中并开始运行。先介绍一下spark从提交到运行的全流程，下面再详细分析。 1、用户通过spark-submit脚本提交应用。 2、spark-submit根据用户代码及配置确定使用哪个资源管理器，以及在合适的位置启动driver。 3、driver与集群管理器(如YA
Spark学习之路 （七）Spark 运行流程
weixin_33901843的博客
04-25 257
一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行...
spark的任务流程图
02-12
### Apache Spark 的任务执行流程 Apache Spark 是一种分布式计算框架，其任务执行流程涉及多个阶段和组件之间的交互。以下是 Spark 任务执行的主要流程： 1. **应用程序提交** 应用程序通过 `spark-submit` 命令或其他方式提交给集群管理器（如 YARN 或 Standalone）。集群管理器负责分配资源并启动驱动程序进程[^1]。 2. **创建 DAG (有向无环图)** 驱动程序解析应用逻辑，构建一个由 RDDs 和转换操作组成的 DAG 图。这个过程会分析数据流以及各个算子间的依赖关系。 3. **Stage 划分** 根据宽窄依赖特性将整个DAG切分成不同的 Stage 。每个 stage 内部只包含窄依赖的操作；而不同 stages 之间存在 shuffle 操作作为边界。 4. **TaskSet 提交** 对于每一个 stage ，Spark 将其中的具体工作拆解成若干个独立的任务(Task)，并将这些任务打包成 TaskSets 发送给调度模块(Scheduler)。 5. **任务调度与执行** 调度模块根据可用节点情况来决定如何分布运行这些 Tasks，并通知对应的 Executor 来真正地去执行它们。Executors 执行完之后返回结果给 Driver Program。 6. **Shuffle 数据传输** 如果当前stage中有shuffle操作，则需要等待前序stages完成后才能开始读取中间文件中的分区数据来进行下一步处理。 7. **Action 触发最终输出** 当所有的 Transformation 完成后，遇到 Action 类型的操作才会触发真正的计算过程并向外部写出最后的结果集。 8. **清理释放资源** 计算结束后，Driver 程序会回收所有占用过的内存和其他临时存储空间，关闭连接等收尾动作。 ```mermaid graph TD; A[应用程序提交] --> B{创建 DAG}; B --> C[Stage 划分]; C --> D[TaskSet 提交]; D --> E[任务调度与执行]; E --> F{是否存在 Shuffle?}; F -->|Yes| G[Shuffle 数据传输]; F -->|No| H(Action 触发最终输出); G --> H; H --> I(清理释放资源); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值