Spark任务的划分 （1）Application：初始化一个SparkContext即生成一个Application； （2）Job：一个Action算子就会生成一个Job； （3）Stage：Stage等于宽依赖的个数加1； （4）Task：一个Stage阶段中，最后一个RDD的分区个数就是Task的个数。
本文深入解析Spark中的Application、Job、Stage和Task的概念。一个Application由SparkContext启动，Action操作触发Job生成，每个Job由多个Stage组成，Stage数量等于宽依赖的个数加1，而Task数量则与最后一个RDD的分区数相同。理解这些核心概念对于优化Spark作业至关重要。
扫一扫
577
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
