Spark源码解析（五）初始化SparkSession

最新推荐文章于 2023-09-20 23:18:23 发布

原创

最新推荐文章于 2023-09-20 23:18:23 发布 · 600 阅读

0 ·

CC 4.0 BY-SA版权

本文详细解析了Spark任务启动过程，包括Driver启动、向Master注册应用程序、启动Executor等关键步骤。介绍了Spark如何通过一系列调度与通信机制实现任务的分布执行。

1.driver启动

在ClientEndpoint启动成功后，会想master注册APP消息。在StandaloneAppClient的onStart()方法中执行registerWithMaster(1)-->registerMasterFutures.set(tryRegisterAllMasters())。在tryRegisterAllMasters方法中内部使用Endpoint进行注册通信。当Master接收到消息。如下代码，核心代码为 schedule()。

/**
 *   注释：master接收到注册消息
 */
case RegisterApplication(description, driver) => // TODO Prevent repeated registrations from some driver
	
	// TODO 注释： 如果是 StandBy master 收到注册请求，则啥也不做
	if (state == RecoveryState.STANDBY) {
		// ignore, don't send response
	} else {

		logInfo("Registering app " + description.name)
		val app = createApplication(description, driver)
		registerApplication(app)
		
		logInfo("Registered app " + description.name + " with ID " + app.id)
		persistenceEngine.addApplication(app)
		
		/**
		 *   注释： 给 Driver 端返回一个注册成功的消息：RegisteredApplication
		 */
		driver.send(RegisteredApplication(app.id, self))
		
		/**
		 *   注释： 调度
		 *   做两件重要的事情：