spark任务调度和资源分配

最新推荐文章于 2024-03-25 13:50:48 发布

＠假装很文艺的文艺青年

最新推荐文章于 2024-03-25 13:50:48 发布

阅读量619

点赞数

文章标签： spark

本文链接：https://blog.youkuaiyun.com/weixin_43513980/article/details/121374764

版权

本文详细介绍了Spark的任务调度模式FIFO和FAIR，以及如何在Standalone和YARN模式下分配资源。讨论了如何根据集群资源设置executor数量、内存和CPU核心，并分析了资源分配对并行执行能力和性能的影响。增加executor的CPU核心和内存可以显著提升执行速度，减少磁盘IO和GC频率，从而提高性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark任务调度和资源分配

1、Spark调度模式 FIFO和FAIR

	Spark中的调度模式主要有两种：FIFO和FAIR。
	默认情况下Spark的调度模式是FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行。
	而FAIR（公平调度）模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序。

2、资源分配概述

spark的分配资源主要就是 executor、cpu per executor、memory per executor、driver memory 等的调节，在我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数：

spark-submit \
--class cn.spark.sparktest.core.WordCountCluster \
--num-executors 3 \ 配置executor的数量
--driver-memory 100m \ 配置driver的内存（影响不大）
--executor-memory 100m \ 配置每个executor的内存大小
--executor-cores 3 \    配置每个executor的cpu core数量
/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \