Spark任务提交流程及任务调度概述

最新推荐文章于 2025-08-04 21:09:02 发布
原创 最新推荐文章于 2025-08-04 21:09:02 发布 · 344 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据

本文介绍了Spark任务的提交流程，从Client向ResourceManager申请资源启动ApplicationMaster，再由ApplicationMaster和Driver协调Executor的启动和任务调度。在任务调度部分，讨论了Spark中的job、stage和task概念，以及Stage级和Task级调度的过程。DAGScheduler负责Stage划分，TaskScheduler执行Task分发，整个调度过程涉及Driver、Executor和SchedulerBackend的交互。

Spark任务提交流程

        提交一个Spark应用程序,首先通过Client向ResourceManager请求启动一个Application,同时检查是否有足够的资源满足Application的需求,如果资源条件满足,则准备ApplicationMaster的启动上下文,交给ResouceManager,并循环监控Application状态

        当提交的资源队列中有资源时,ResourceManager会在某个NodeManager上启动ApplicationMaster进程,AplicationMaster会单独启动Driver后台线程,当Driver启动后,ApplicationMaster会通过本地的RPC连接Driver,并开始向ResourceManager申请Container资源运行Executor进程(一个Executior对应一个Container),当ResourceManager返回Container资源,ApplicationMaster则在对应的Co

最低0.47元/天 解锁文章
Jingmingtao11
关注
Spark系列文章一：Spark 提交任务流程详解
myc1234567的博客
10-18 9341
一、spark提交任务流程概述 1.1、流程概述 1、构建spark执行环境（初始化sparkcont）； 2、SparkContext向资源管理器注册并申请Executor资源； 3、资源管理器分配Executor资源，Executor向资源管理器发送心跳汇报状态； 4、Executor向sc注册并申请task； 5、sc向Executor发送task，Executor执行task； 6、运行完成后，sc向资源管理器申请注销资源。 1.2、流程图解（多图） 二、spark...
Spark
小道的博客
12-10 3995
Spark知识点
Spark源码精读 之 ApplicationMaster
不积跬步无以至千里
03-14 584
Spark版本：V2.3.2。
spark任务的提交流程
m0_74903429的博客
02-27 883
第三步,因为在用户代码中,RDD算子会设计大量的转换操作,然后会通过一个动作(action)操作,触发任务的真正执行,在这里会按照RDD与RDD之间的依赖关系,首先会生成一个DAG的有向无环图,图的方向就是RDD算子的操作顺序,最终会将RDD DAG有向无环图发送给DAGScheduler对象;Master收到申请资源的请求后,向指定的worker节点发送请求,然后worker节点会开启对应的executor的进程。Executor进程会向driver发送注册请求,然后申请要计算的task。
spark提交任务的流程
流的博客
02-15 871
1.spark任务提交阶段划分 spark提交任务分为五个状态，五个状态之间的有四个转换过程： （1）根据代码中的Transformations确定RDD。 （2）根据RDD确定RDD的类型和它们之间的血统关系，生成一个DAG。 （3）将DAG提交给DAGScheduler来划分出不同的task，以及task执行顺序和依赖关系。 （4）TaskScheduler调度任务，采用集群中配置的调度方式...
Spark整理：spark 任务调度
weixin_38602383的博客
12-18 2977
在生产环境下，Spark 集群的部署方式一般为 YARN-Cluster 模式，之后的内核分析内容 中我们默认集群的部署方式为 YARN-Cluster 模式。 Driver 线程主 要 是 初 始 化 SparkContext 对 象 ， 准 备 运 行 所 需 的 上 下 文 ， 然 后 一 方 面 保 持 与ApplicationMaster 的 RPC 连接，通过 ApplicationMaster 申请资源，另一方面根据用户业务逻辑开始调度任务，将任务下发到已有的空闲 Executor 上。当
Spark工作机制及任务调度策略
岁月的拾荒者
09-28 1722
1、Spark运行架构 1.1、运行架构 Spark框架的核心是一个计算引擎，整体来说，它采用了标准master-slave的结构。 如下图所示，它展示了一个Spark 执行时的基本结构。图形中的 Driver 表示 master，负责管理整个集群中的作业任务调度。图形中的 Executor 则是 slave，负责实际执行任务。 2.2、Spark核心组件 2.2.1、Driver Spark驱动器节点，用于执行Spark任务中的main方法...
spark源码-任务提交流程之-7-流程梳理总结
m0_37817767的博客
08-04 438
spark源码
Spark学习笔记（二）| Spark任务调度机制
辣鸡翅17的博客
06-25 806
文章目录1. Spark任务调度概述2. Spark通信机制3. 任务调度过程3.1 Spark Stage 级调度3.2 Spark Task 级调度3.2.1 调度策略3.2.2 本地化调度3.2.3 失败重试与黑名单机制 1. Spark任务调度概述 当Driver任务启动之后，Driver则会根据用户程序逻辑准备任务，并根据Executor资源情况逐步分发任务。 一个Spark应用程序包括...
Spark作业提交
jpfx6008的博客
08-11 1340
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，
大数据Spark（六十二）：Spark基于Yarn提交任务流程
Lansonli（蓝深李）的博客
07-07 2264
本文介绍了Spark在Yarn模式下提交任务的两种方式：Yarn-Client和Yarn-Cluster模式。Yarn-Client模式中，Driver运行在客户端节点，适合测试环境；Yarn-Cluster模式中，Driver作为AM运行在集群内部，适合生产环境。文章详细说明了两种模式的提交命令和执行流程，并对比了它们的特点和使用场景。Yarn-Client模式便于查看任务结果但可能导致客户端负载过高，而Yarn-Cluster模式将Driver分散在集群中，需要通过Yarn WebUI查看结果
Spark任务提交流程
HanJuly9569的博客
03-08 1043
Spark提交任务流程 总体概况： 1.在提交脚本中配置需要的资源（粗颗粒分配），向ResourceManager提交app 2.RM启动一个NM来启动ApplicationMaster,driver运行在此机器上，并创建了DAGScheduler,TaskScheduler. 3.AM向RM请求资源的，AM然后在对应的NM启动Excutor 4.Excutor初始化线程池并向driver注册，为driver监控做准备 5.Driver开始执行用户写的代码，遇到action时产出一个job 6.DAG 根
spark任务提交流程
zdryn的博客
04-04 714
spark任务提交流程 1、编写程序打成jar包 2、调用spark-submit脚本提交任务到集群上运行 3、发送请求到ResourceManager，请求启动applicationMaster 4、RS接收到请求后在集群上选择一个合适的NameNode节点，启动ApplicationMater 5、运行spark-submit的main方法，通过反射的方式创建主类的实例对象，然后调用main方法，开始执行代码 6、代码创建sparkcontext对象并对其初始化，同时创建DAGScheduler（将rd
Spark 提交任务流程
最新发布
weixin_51243388的博客
08-04 231
3、Driver启动后，向resource manager申请Executor内存，resource manager接到application master的资源申请后会分配container，然后在合适的node manager上启动Executor进行。5、Driver执行到action算子时，触发一个job，并根据宽依赖开始划分job中的stage，每个stage生成对应的taskSet，之后将task分发到各个Executor上执行。
Spark任务提交流程(整理版)
不积跬步无以至千里
05-26 2141
一、client提交任务到RM. 二、RM启动AM. 三、AM启动Driver线程, 并向RM申请资源. 四、RM返回可用资源列表. 五、AM通过nmClient启动Container, 并且启动ExecutorBackend后台进程. 六、Executor反向注册给Driver 七、Executor启动任务
头歌spark运行架构及流程
12-29
### Apache Spark简介 Apache Spark是一个开源框架引擎，在大数据处理和分析领域以其速度和易用性著称[^2]。它内置了用于图处理、机器学习、流处理以及SQL等功能模块。Spark的执行引擎支持内存计算和循环数据流动，并能够以集群模式或独立模式运行，同时可以访问多种数据源，如HBase、HDFS、Cassandra等。 ### Spark在头条平台上的架构与执行流程 #### 架构概述 对于像今日头条这样的大型互联网公司而言，其基于Spark构建的数据处理平台通常会集成到现有的分布式存储系统中。具体来说： - **资源管理层**：负责管理和调度整个系统的计算资源，可能采用YARN或者Mesos作为底层资源管理工具。 - **应用层**：由多个相互协作的应用程序组成，这些应用程序利用Spark的强大功能来完成各种复杂的ETL任务、实时数据分析以及其他高级运算操作。 #### 执行流程解析 当提交一个作业给Spark时，大致经历如下几个阶段： 1. 驱动程序（Driver Program）接收到用户的请求后，将逻辑计划转换成物理计划； 2. 物理计划被进一步拆解为一系列的任务集（TaskSet），每个任务集中包含了若干个具体的task； 3. 这些tasks会被分发至各个节点上的Executor进程中去执行，而Executors则是在Worker Node上启动的服务进程，专门用来承担实际的工作负载； 4. Executor内部维护着一定数量的核心线程(Core Thread)，它们并行地处理来自不同stage的任务实例(Task Instance)； 5. 对于涉及到宽依赖(Wide Dependency)的操作，则需要通过Shuffle过程来进行重新分区(Repartitioning)，以便后续Stage能顺利获取所需输入数据； 6. 最终结果经过收集(Collect)/保存(Save As...)等方式返回给驱动端供用户查看或存入指定的目标位置。 ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("Example").getOrCreate() df = spark.read.json("/path/to/json/files") # 加载JSON文件创建DataFrame对象 result_df = df.groupBy("key_column").count() # 聚合统计每组记录数 result_df.write.parquet("/output/path") # 将结果写入Parquet格式文件 ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值