sparksql运算调优纪事（二）——task并发任务数设置

版本

spark 2.1.0

前言

利用spark-submit提交作业的时候，根据各种天花乱坠的教程我们会指定一大堆参数，借以提升并发和执行性能，比如

–executor-cores 4
–num-executors 4
–executor-memory 8g
–conf spark.default.parallelism=50
–conf spark.sql.shuffle.partitions=20

结果发现一顿操作下来


executor就用起来了一个，写入task也就只有一个