- 窄依赖:——类比于独生子女
父RDD的一个分区只会被子RDD的一个分区依赖; - 宽依赖:——类比于多生
父RDD的一个分区会被子RDD的多个分区依赖(涉及到shuffle); - Stage是如何划分的?
根据RDD之间的依赖关系的不同将job划分成不同的Stage,遇到一个宽依赖则划分一个stage; - 每个Stage又根据什么决定task个数?
Stage是一个TaskSet,将Stage根据分区数划分成一个个的Task。
简述Spark的宽窄依赖,以及Spark如何划分Stage,每个Stage又根据什么决定task个数?
于 2022-04-29 21:20:53 首次发布