Spark shuffle性能优化

详细参见官方文档：http://spark.apache.org/docs/2.1.0/configuration.html

1.spark.shuffle.consolidateFiles：是否开启shuffle block file的合并，默认为false  （2.x废弃）

---->数据在进行shuffle的时候，如果没有开启这个参数，那么就会从每个节点上的每个task上取拉去数据，开启之后，会进行文件的合并，只需要去 每个cpu-core上面拉去就可以，大大降低IO不说，时间也会节省很多

2.spark.reducer.maxSizeInFlight：reduce task的拉取缓存，默认48m

---->每次拉取数据的缓存大小设定，这个是每个reduceTask都有的

3.spark.shuffle.file.buffer：map task的写磁盘缓存，默认32k

---->map端的bucket缓存，也可以适当调节，降低溢写到磁盘的次数就变少了

4.spark.shuffle.io.maxRetries：拉取失败的最大重试次数，默认3次

5.spark.shuffle.io.retryWait：拉取失败的重试间隔，默认5s

6.spark.shuffle.memoryFraction：用于reduce端聚合的内存比例，默认0.2，超过比例就会溢出到磁盘上

----->当拉取的数据两特别大的时候，可以适当设置为0.3  0.4 ，提高运行速度，减少数据频繁的溢写到磁盘，消耗时间