spark性能优化二

一：Task性能优化

1， 慢任务的性能优化：可以考虑减少每个Partition处理的数据量，同时建议开启spark.speculation,

2， 尽量减少Shuffle，例如我们要尽量减少groupByKey的操作，因为groupByKey会要求通过网络拷贝（Shuffle）所有的数据，优先考虑使用reduceByKey，因为reduceByKey会首先reduce locally；再例如在进行join操作的时候，形如（K1，V1） join（K1，V2）=>(K1，V3)此时就可以进行pipeline，但是（o1）join (o2) => (o3)，此时就会产生Shuffle操作；

3， Repartition：增加Task数量的时候可以考虑使用，从而更加充分是使用计算资源；Coalesce:整理Partition碎片；

二：数据倾斜

1， 定义更加合理的Key（或者说自定义Partitioner）；

2， 可以考虑使用ByteBuffer来存储Block，最大的存储数据为2G，如果超过这个大小会报异常；

三：网络

1， 可以考虑Shuffle的数据放在Tachyon中带来更好的数据本地性，减少网络的Shuffle；

2， 优先采用Netty的方式进行网络通信；

3， 广播：例如进行Join操作的时候采用Broadcast可以达到完全的数据本地性的情况下进行Join操作；

4， mapPartitions中的函数会直接作用于整个Partition（一次！！！）；

5， 最优先考虑是PROCESS_LOCAL(Spark默认情况下也是这样做的)，所以你更应该考虑使用Tachyon；

6， 如果要访问HBase或者Canssandra，务必保证数据处理发送在数据所在的机器上；