mr_liM的博客

Master源码分析之主备切换机制 1.当选为leader之后的操作//ElectedLeader 当选leader case ElectedLeader => { //从持久化引擎中获取数据，driver,worker,app 的信息 val (storedApps, storedDrivers, storedWorkers) = persistenceEngine

master源码分析之注册application 1. case RegisterApplication源码 //注册application,从taskschedulerImpl的start()方法发送master请求，这个方法接收 //appclient发送注册请求到这个方法 case RegisterApplication(description, driver) =>

sparkContext源码分析 1.sparkcontext是spark应用开发的入口，负责与spark集群的连接。可用于在集群上创建RDD，累加器，和 广播变量等一系列操作。 2.sparkcontext初始化主要做了以下几件事： 初始化spakEn 初始化taskScheduler 初始化dagscheduler 初始化sparkUI 3.sparkEnv相关代码 调用spark