Spark军师之DAGScheduler

本文介绍了Spark的DAGScheduler如何将应用程序转化为有向无环图(DAG),并详细阐述了其在维护作业和阶段、面向stage的切分过程中的作用。DAGScheduler根据宽依赖切分stage,并负责跟踪RDD和stage的执行流程,实现高效的调度策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

       搬个凳子,捧着瓜子,让我们开始唠嗑。

      首先,字面解读下“DAGScheduler”,可以理解为是一个DAG调度器,DAG又是啥呢?学术名叫:有向无环图。一个spark应用程序提交,spark引擎就是通过DAGScheduler将其切分成一个个stage。让我们先来看看DAGScheduler是在哪里起的作用的。经典图:




    那这个DAGScheduler的职能到底是什么呢?总结成两点:


    1.维护waiting jobs和active jobs,维护waiting stages、active stages和failed  stages,以及与jobs的映射关系;

    2.面向stage的切分。


      这时候你可能表示不服,说你说这样就是这样啊。这时候我就要开始讲事实,摆证据了,一言不合就晒证据(这点得向之前微博上炒的火热的曹云金学习)。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值