本文介绍了Spark中并行度的设置，包括资源的并行度、数据的并行度以及如何调整task数量。资源的并行度由提交环境决定，如local[k]、standalone或yarn。数据的并行度可以通过参数如`spark.default.parallelism`和`spark.sql.shuffle.partitions`等进行控制。推荐将RDD的分区数设置为资源并行度的2~3倍以充分利用集群资源。案例中强调，合理分配task数量避免CPU核心浪费，确保应用并行度的有效利用。
1、资源的并行度（运行时无法改变）
指的就是提交时的申请的总core数。
如果提交到的是local[k]: 资源的并行度就是k
如果提交到的是standalone ：资源的并行度就是 --total-executor-cores
如果提交到的是yarn：资源的并行度就是 --num-executors * --executor-cores
2、数据的并行度（运行时可以手动改变）
task的个数，即partition个数
task又分为map时的task和reduce(shuffle)时的task；
task的数目和很多因素有关：
申请的资源的总core数，
（如果是SparkCore）spark.default.parallelism参数，
最低0.47元/天 解锁文章
扫一扫
618
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
