Spark运行流程（ RDD 的job调度流程: Driver内部运行流程）

最新推荐文章于 2024-03-16 16:54:56 发布
最新推荐文章于 2024-03-16 16:54:56 发布
阅读量248 收藏
点赞数
分类专栏： 大数据 文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sijiwang95/article/details/129093541
版权
Spark在遇到action算子时会触发Job任务，DAGScheduler构建执行流程图并划分阶段，TaskScheduler负责TaskSet的均衡分配给executor执行，Driver进行任务监控。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

        Spark程序 , 遇到一个 action 算子 , 就会产生一个 Job 的任务 , 首先就会先 SparkContext 对象 , 同时在其底层也会创建DAGScheduler 和 TaskScheduler
        首先DAGScheduler 负责生成 DAG 的执行流程图 , 划分有多少个阶段 , 并且确定每个阶段内部有多少个线程 , 然后将每个阶段的线程放置到一个TaskSet 中 , 然后提交到 TaskScheduler
        接着TaskScheduler 接收到 TaskSet 后 , 然后依次遍历每一个阶段的 TaskSet, 将其尽可能均衡分配给对应的
executor 来运行 , 从而完成所有的阶段的执行操作
        最后Driver 负责任务的监控管理即可 ....

 

RDD用法与实例（十一）Spark中master、worker、executor和driver的关系，通过broadcast形成共享和直接生成全局变量的区别
m0_37754282的博客
09-28 469
Spark中master、worker、executor和driver的关系 参考来源1 master是大哥，worker是工人小弟们。master大哥有一个副手老二叫driver，手上管着一批货物executor（memory cpu等资源），老二会问大哥咋分给小弟们呢，大哥说哎，就这么分，张三比较菜（worker）搬两箱（executor），李四能者多劳（worker）搬五箱（executor）。 但是重点不是搬货物完了就行，货箱里的材料还需要不断返工和沟通来完成成品制作。就需要小弟们不断沟通，不断请示
Spark 的运行流程
谦卑t
01-12 1211
目录 1.1、Spark的基本运行流程 1.2、运行流程图解 1.3、SparkContext初始化 1.4、Spark运行架构特点 1.5、DAScheduler 1.6、TaskScheduler 1.7、SchedulerBackend 1.8、Executor 1.1、Spark的基本运行流程 1、构建 DAG 使用算子操作 RDD 进行各种 transfor...
Spark的任务调度流程(Driver 内部运行流程)
s1275200879的博客
04-04 536
Spark的核心是基于RDD来实现的，Spark任务调度就是如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Stage，然后将每个Stage中的任务（Task）分发到指定的节点去运行得到最终的结果。然后把每个阶段的线程放置到一个TaskSet中, 提交给TaskScheduler , TaskScheduler遍历每一个TaskSet , 将其尽可能均衡地分配给 Executor 来运行, 最后Driver 进行监控管理即可.一个TaskSet对应的调度阶段。
一、Spark内核之运行机制
olifchou的博客
02-21 739
深究Spark 文章目录深究Spark前言一、Spark核心组件1.Driver2. Executor2.读入数据总结 前言 Spark内核一般指Spark的核心运行机制，包括核心组件的运行机制、任务调度机制、内存管理机制、核心功能运行原理。 一、Spark核心组件 1.Driver Driver是Spark的驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责： 将用户程序转化为作业(Job) 在Executor之间调度任务(Ta
Spark-Job调度流程
weixin_37536020的博客
06-18 295
TaskScheduler接收到各个阶段的TaskSet后, 开始进行任务的分配工作, 确认每个线程应该运行在那个executor上(尽可能保持均衡), 然后将任务提交给对应executor上,让executor启动线程执行任务即可,阶段是一个一个的运行, 无法并行执行的。向当前等待分配计算资源的Task分配Executor，并且在分配的Executor上启动Task，完成计算的资源调度。并行度设置, 需要在shuffle后生效, shuffle前的分区数量, 默认取决于初始数据源的时候确认的分区数量。
如何理解Spark中Driver和Executor？
最新发布
2301_79551573的博客
03-16 1022
第二个Driver还负责管理广播变量和累加器，广播变量负责将一个只读对象传递到所有的executor端提供数据计算的需求，而累加器则是用来收集executor端数据的累计行为。任何分布式服务都会有两种角色，一个是Master另一个是Slaver，前者是领导专门负责指挥和调度，后者是员工专门负责干活的；Driver相当于Master，Executor相当于Slaver，前者负责任务的分配和管理，后者负责对数据进行计算。第二个对计算后的最终的RDD或者DataSet进行持久化存储。
Spark任务执行流程与运行架构
qq_25073261的博客
08-13 881
1.Spark的执行流程 1、说明 (1)构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源； (2)资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上； (3)SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task
Spark（3）架构原理、运行流程和RDD介绍
weixin_43230682的博客
08-03 1931
目录 一、Spark简介 1、内置模块介绍 2、Spark特点 二、Spark基本架构和运行流程 1、基本架构 2、运行流程 三、RDD概述 1、什么是RDD 2、RDD的属性 3、RDD的特点 4、RDD依赖关系 4.1 Lineage 4.2 窄依赖 4.3 宽依赖 4.4 DAG 4.5 任务划分（面试重点） 5、 RDD缓存 6、 RDD CheckPoint 一、Spark简介 1、内置模块介绍 S...
Spark任务调度机制解析：Stage与Task的调度流程
在YARN-Cluster模式下，Spark应用程序的执行流程始于SparkContext的创建，由Driver线程负责任务调度，与ApplicationMaster交互以申请和管理Executor资源。Executor进程启动后向Driver注册并保持心跳，等待接收并执行...
Spark的运行基本流程以及任务调度机制
Autter的博客
08-27 778
1.Spark yarn-Cluster 的任务调度流程 Cluster 模式用于监控和调度的 Driver 模块启动在 Yarn 集群中执行，一般用于生产环境当中。 Yarn-cluster 模式下，client 任务提交之后之后（spark-summit 脚本），和 RM 通讯申请启动 ApplicationMaster； 随后 RM 分配 container ，在合适的NodeManager 上启动 ApplicationMaster,此时 ApplicationMaster 就是 Drive
记一次Spark任务Driver端问题排查
weixin_42486226的博客
04-26 356
Spark任务提交Client模式报错找不到依赖，换成Cluster模式就乖乖听话了，这问题其实很简单。
创建RDD3种方法, RDD算子分类, Transformation在worker中执行, Action算子在Driver中执行 08
啊策策大数据社区
07-05 376
创建RDD的3中方法 有一个已经存在的Scala集合创建 val rdd = sc.parallelize(Array(1,2,3,4,5,6)) 有外部存储系统的文件创建, 包括本地的文件系统,还有所有Hadoop支持的数据集,比如HDFS,Cassandra,Hbase等 val rdd = sc.textFile("/words.txt") 已有的RDD经过算子转换生成新的RD...
Spark之RDD的Action算子和最受学生喜爱/欢迎的科目案例(5)
桂林算啦粉的博客
10-01 395
一 RDD 的 Action 算子 Action :行动算子 ,调用行动算子会触发job执行 ,本质上是调用了sc.runJob方法 ,该方法从最后一个RDD,根据其依赖关系 ,从后往前 ,划分 Stage ,生成 TaskSet . 二 对RDD的操作(创建,查看) 1 创建 RDD的方法 1.1 通过并行化方法 ,将 Driver端的集合转成 RDD val rdd1:RDD[Int] = sc.parallelize(Array(1,2,3,4,5,6,7),2...
(spark源码)job生成和提交
IAmListening的博客
06-01 882
摘要 spark中, Job的提交可以分为四个阶段 RDD生成相互间的依赖关系. 实际上依赖关系是RDD的固有属性, 也就是说, 每个RDD生成时, 依赖就已经被生成了 DVG过程, 将Action算子对应的RDD作为finalStage, 由后往前递归的遍历所有RDD, 并根据宽窄依赖划分Stage 根据partition数量, 生成对应数量的Task Worker调用executor执行运算...
Spark学习（8）-SparkSQL的运行流程，Spark On Hive
一个人的江湖
01-07 2807
将Filter这种可以减少数据集的操作下推，放在Scan的位置，这样可以减少操作时候的数据量。RDD的运行会完全按照开发者的代码执行， 如果开发者水平有限，RDD的执行效率也会受到影响。当使用ThriftServer后，相当于是一个持续性的Spark On Hive集成模式，它提供10000端口，持续对外提供服务，外部可以通过这个端口连接上来，写sql，让Spark运行。上面的过程生成的AST其实最终没有办法直接运行，AST叫做逻辑计划，结束后需要生成物理计划，从而生成RDD来运行。
Spark SQL的运行机制
xy_hgtc的博客
12-02 631
DAG调度器（DAGScheduler）接收到Job任务以后，对Job形成DAG有向无环图和划分Stage阶段，会确定每个Stage阶段需要多少个Task（线程），并且将这些Task放在了一个叫TaskSet集合里。Spark SQL底层依然运行的是Spark RDD的程序，所以说Spark RDD程序的运行的流程，在Spark SQL中依然是存在的，只不过在这个流程的基础上增加了从SQL翻译为RDD的过程。3-对（未优化前的）逻辑计划进行各种优化操作，Spark SQL提供了一两百种优化规则。
Spark内核之Driver的工作流程(Stage划分、Task划分、Task调度)
TRX的博客
09-05 3375
fff
谈Spark下并行执行多个Job的问题
热门推荐
茅庐
03-20 2万+
本文结合笔者的实践场景，探讨了Spark下并行执行多个Job的问题。梳理了Spark任务调度的机制，并总结了实践中需要考虑的问题。
spark基础知识选择、判断、简答题。
weixin_43793040的博客
06-08 1万+
** # spark相关题目 ** 1、 持久化RDD的存储级别中，将RDD分区全部存储到磁盘上的存储级别是（）。 A、MEMORY_ONLY B、MEMORY_AND_DISK C、DISK_ONLY D、MEMORY_ONLY_SER 参考答案: C 答案解析: 暂无解析 2、 当MemStore存储的数据达到一个阀值（）时，数据就会被进行flush操作，将数据写入到StoreFile文件。 A、64M B、128M C、256M D、512M 参考答案: B 答案解析: 暂无解析 3、 下列选项中
Spark源码解析：Job提交与运行详解
本文主要探讨了Apache ...本文深入剖析了Spark Job从提交到运行的整个流程，涉及了Master-Worker架构、配置管理、任务调度以及分布式计算的核心组件。这对于理解Spark的内部工作机制和优化性能具有重要的参考价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值