超级会员免费看
本文详细探讨了Spark应用中Driver的创建和启动过程，从SparkContext的初始化开始，经过TaskScheduler的创建，到最终的Executor启动。在SparkContext的创建过程中，Driver由TaskSchedulerImpl和StandaloneSchedulerBackend共同作用产生。Driver的启动涉及TaskScheduler的start方法，最终通过StandaloneSchedulerBackend的start方法与Master交互，启动Executor。整个流程涉及多个组件间的交互，包括SparkContext、TaskScheduler、StandaloneSchedulerBackend、Master和Worker。
6.3 从Application提交的角度看重新审视Driver
6.3.1 Driver到底是什么时候产生的
在SparkContext实例化的时候通过createTaskScheduler来创建TaskSchedulerImpl和StandaloneSchedulerBackend。
SparkContext.scala源码：
1. class SparkContext(config: SparkConf) extends Logging {
2. ……..
3. val (sched, ts) = SparkContext.createTaskScheduler(this, master,deployMode)
4. _schedulerBackend = sched
5. _taskScheduler = ts
6.
7. _dagScheduler = newDAGScheduler(this)
8. _heartbeatReceiver.ask[Boolean](TaskSchedulerIsSet)
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
