Spark提交作业的参数

星空下的那个人影

已于 2022-04-28 13:05:44 修改

阅读量765

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据面试 spark 文章标签： spark

于 2022-04-27 16:34:47 首次发布

本文链接：https://blog.youkuaiyun.com/sb_jb/article/details/124453460

大数据面试同时被 2 个专栏收录

87 篇文章

订阅专栏

spark

23 篇文章

订阅专栏

本文详细解读了Spark配置中的核心参数，如executor-cores, num-executors, executor-memory, driver-cores 和 driver-memory，以及如何根据企业需求调整。重点介绍了如何设置这些参数以最大化任务并发和资源利用，适合Spark新手和性能调优者参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

executor-cores：每个executor使用的内核数，默认是1，官方建议2-5个，我们企业是4个
num-executors：启动executors的数量，默认为2；
executor-memory：executor内存大小，默认是1G；
driver-cores：driver使用内核数，默认是1；
driver-memory：driver内存大小，默认是512M

提交任务的样式：

spark-submit \
  --master local[5]  \
  --driver-cores 2   \
  --driver-memory 8g \
  --executor-cores 4 \
  --num-executors 10 \
  --executor-memory 8g \
  --class PackageName.ClassName XXXX.jar \
  --name "Spark Job Name" \
  InputPath      \
  OutputPath