congzi1984的专栏

1、提交流程图 提交流程文字说明： 1、执行bin/spark-submit命令后，Client会组装commnd命令到yarn集群的ResourceManager。 commnd命令：bin/java org.apache.spark.deploy.yarn.ApplicationMaster，如果非集群模式就是bin/java org.apache.spark.deploy.yarn...

1、概要 1）、从Stage划分，最后一个Stage称为ResultStage，前面被称为ShufferMapStage，一个ShufferMapStage结束会有一个写磁盘操作。 2）、Spark Shuffer分为Map和Reduce阶段，跟MapReduce不一样，有Map程序和Reduce程序 3）、ResultStage结束了，Shuffer一定会有读写磁盘，一个Job的运行就结束...