一梦

002-源码spark-2.1.1版SparkOnYarn部署流程-ApplicationMasterSparkOnYarn部署流程-CoarseGrainedExecutorBackend SparkSubmit // 启动进程 – main // 封装参数 – new SparkSubmitArguments // 提交 – submit // 准备提交环境 – prepareSubmitEnvironment // Cluster – childMainClass = “org.apache.spa

001-源码spark-2.1.1版SparkOnYarn部署流程 源码散步 1.整体框架 2.框架组件、通信 3.任务的划分、调度、执行 这里基于spark-2.1.1版本的源码，官网现在是spark-3.0.0和spark-2.1.1的源码还是有很多区别的。 SparkOnYarn部署流程 bin/spark-submit \ -class org.apache.spark.examaple.SparkPi \ -master yarn \ -deploymode client \ ./examples