Spark03_工作流程图解

1.环境准备工作流程:

yarn模式的 cluster部署模式

主要有两条工作线:

1. 注册环境相关应用程序,节点
2. Driver端继续执行相关算子
   注: 最后将算子的task交给Executor来进行执行

流程图概述:

yarn模式的 client部署模式:

其实和cluster模式大致相同,不同的部分主要为Driver的放置位置不同:
cluster:将Driver放置在集群的ApplicationMaster当中
client :将Driver放置在集群外边

组件通信

应用的执行

阶段的划分

阶段的划分的数量= shuffle的次数+1(ResultStage)

任务的切分

任务的切分=每个stage最后的分区数量

任务的调度