本文探讨了Spark并行度的概念，指出并行度不足会导致资源浪费。建议将任务数量设置为与Spark应用的CPU核心数相同或其2-3倍，以充分利用资源并提高运行效率。此外，介绍了`spark.default.parallelism`配置参数在shuffle过程中的影响。
1.Spark的并行度指的是什么？
spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！
当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么
导致你分配下去的资源都浪费掉了。
同时并行运行，还可以让每个task要处理的数量变少（
很简单的原理。合理设置并行度，可以充分利用集群资源，减少每个task处理数据量，而增加性能加快运行速度。
）
举例：
最低0.47元/天 解锁文章
扫一扫
2006
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
