spark任务调优

一。首先我们来看一下本来的任务时间。

 

二。调优azkaban的job并行任务数

优化了12s，如何优化可以参看上一篇文章，本篇着重说一下spark的任务数

# default 10 but we need faster
flow.num.job.threads=20

 

 

三。增加spark内存

发现之前机器应该是内存分配不够，分配的内存全部占满了。

赶紧增加内存，并且为了后面数据做准备，多增加一点。

可以看到增加了   yarn.nodemanager.resource.memory-mb   之后，明显内存够了，只用了一半就完成了任务。

 

还有什么可以提高速度的，我们赶紧想，比方说spark的并行度，默认是200，我们可以否调整一下，因为我们要快！那行，说干就干。

关键这样我看不懂啊，