
1、一个action操作就是一个job任务。
2、应用 -> 任务 -> stage -> task。
3、stage的划分,是根据宽依赖来进行划分,划分的过程是从后往前划分,如果遇到一个宽依赖算子,那么就将当前stage压入栈底,以此划分到代码的起始位置,划分完成之后,从栈顶依次进行执行。
4、task:一个分区就是一个task,一个stage包含很多task,我们也叫taskset。
1、一个action操作就是一个job任务。
2、应用 -> 任务 -> stage -> task。
3、stage的划分,是根据宽依赖来进行划分,划分的过程是从后往前划分,如果遇到一个宽依赖算子,那么就将当前stage压入栈底,以此划分到代码的起始位置,划分完成之后,从栈顶依次进行执行。
4、task:一个分区就是一个task,一个stage包含很多task,我们也叫taskset。