本文介绍了如何根据集群资源对Spark任务进行资源分配，包括executor数量、CPU和内存的配置。通过调整executor的个数、核心数和内存大小，可以显著提升Spark应用的性能。了解集群资源后，合理分配能最大化利用资源，减少GC频率，提高并行执行能力和磁盘IO效率。
昨天参加面试，提问到如何根据集群的资源，对spark任务进行资源分配：
spark的分配资源主要就是：
executor 的个数
cpu per executor（executor-cores）：每个executor的cpu core数量
memory per executor（executor-memory）：配置每个executor的内存大小
driver memory：配置driver的内存（影响不大） 等的调节
配置资源：
在我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数：
/usr/local/spark/bin/spark-submit \
--class cn.spark.test
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
