本文详细介绍了Spark作业提交参数num-executors、executor-memory和executor-cores的含义及调优建议。num-executors设置合适的Executor数量以充分利用集群资源，避免性能瓶颈；executor-memory调整每个Executor的内存大小，防止JVM OOM异常；executor-cores设定每个Executor的CPU核心数，影响任务并行执行能力。调优时需结合资源队列限制，合理分配以确保作业高效且不影响团队其他作业的运行。
1.num-executors
参数说明：
该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。
参数调优建议：
每个Spark作业的运行一般设置50~100个左右的Executor进程比较合适，设置太少或太多的Executor进程都不好。设置的太少，无法充分利用集群资源；设置的太多的话，大部分队列可能无法给予充分的资源。
2.executor-memory
参数说明：
该参数用于设置每个Executor进程的内存。Executor内存的大小，很多时候直接决定了Spark作业的性能，而且跟常见的JVM OOM异常，也有直接的关联。
参
最低0.47元/天 解锁文章
扫一扫
3949
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
