Airy的博客

上一期指路 上一期我们分析到了YarnClusterApplication的start，我们继续从这里分析。 override def start(args: Array[String], conf: SparkConf): Unit = { // SparkSubmit would use yarn cache to distribute files & jars in yarn mode, // so remove them from sparkConf here

决定从这一期开始写基于yarn模式部署的spark集群，将用户编写的代码(以WordCount为例子)提交到该集群上运行的一系列流程。 object Spark03_WordCount { def main(args: Array[String]): Unit = { val sparConf: SparkConf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkConte

Worker 对于Master，其启动脚本就是通过java mainClass的方式调用main方法启动Worker的java进程。 自然调用的就是org.apache.spark.deploy.worker.Worker的main方法。 于是就从org.apache.spark.deploy.worker.Worker中的main方法开始看起。 1.Worker#main ...

Master 对于Master，其启动脚本就是通过java mainClass的方式调用main方法启动Master的java进程。 自然调用的就是org.apache.spark.deploy.Master的main方法。 于是就从org.apache.spark.deploy.Master中的main方法开始看起 1.Master#main new SparkConf Spark应用程序的配置，将spark的各种参数设置为键值对 ； new MasterArguments(argSt