Spark调优:提交job资源参数调优及内存模型调优

 【场景】

Spark提交作业job的时候要指定该job可以使用的CPU、内存等资源参数，生产环境中，任务资源分配不足会导致该job执行中断、失败等问题，所以对Spark的job资源参数分配调优非常重要。

spark提交作业，yarn-cluster模式示例：

./bin/spark-submit\

--class com.ww.rdd.wordcount \

--master yarn \

--deploy-mode cluster \
--executor-memory 4G \
--num-executors 50 \

--driver-memory 1G \

--conf spark.default.parallelism=1000 \

--conf spark.memory.fraction=0.75 \

--conf spark.memory.storageFraction=0.5 \

/home/spark/wordcount.jar \
1000  #入参

【参数】
num-executors

参数说明：该参数用于设置每个Spark作业总共要用多少个Executor进程来执行。例如Driver向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照该配置在集群的各个worker节点上启动相应数量的Executor进程。这个参数非常重要，如果不设置的话，Spark默认只启动少量的Executor进程，意味着该Spark作业并行度不足，如果作业计算多、数据很大，会导致运行速度非常慢甚至资源不足，异常中断，无法完成等。

调优建议：num-executors设置太少或太多的Executor进程都不好。设置的太少，无法充分利用集群资源；设置的太多的话，大部分队列可能无法给予充分的资源。生产环境摸索的经验是每个Spark作业的运行一般设置50~100个左右的Executor进程比较合适。