Spark从入门到精通(七)--Spark优化

Spark优化

1.资源优化

搭建集群
在Spark安装路径下 spark/conf/spark-env.sh配置：
SPARK_WORKER_CORES=XXX
SPARK_WORKER_MEMORY=XXX

2.提高并行度

sc.textFile(xx,minnum)
sc.parallelize(xx,num)
sc.makeRDD(xx，num)
sc.parallelizePairs(List<Tuple2<xx,xx>>,num)
RDD的算子: repartition(num)、coalesce(num)、reduceByKey(num)、join(num)、groupByKey(num)、distinct(num)
rdd.partitionBy 自定义分区器

3.代码优化

避免创建重复的RDD
对多次使用的RDD持久化
尽量避免使用shuffle类的算子
广播变量+map类的算子 代替Join
尽量使用map端有预聚合（map-combine）的算子
    1)减少map端shuffle落地数据量
    2)减少reduce端拉取的数据量
    3)减少节点之间传输的数据量
    reduceByKey,aggregateByKey,combinerByKey
使用高性能的算子
    1) 使用reduceByKey代替groupByKey
    2) 使用mapPartitions代替map
    3) 使用foreachPartitions代替foreach
    4) 对RDD大量过滤数据之后使用repartition/coalesce减少分区
mapPartitionsToPair/flatMapPartitionsToPair
优化数据结构
在编写Spark的代码时，尽量保持以下三个原则：
    1) 尽量使用原生的数据类型代替字符串。
    2) 尽量使用字符串代替对象。
    3) 尽量使用数组代替Map集合。
使用Kryo序列化方式
SparkConf.set(“spark.serializer”,
“org.apache.spark.serializer.KryoSerializer”).
registerKryoClasses(new Class[]{SpeedSortKey.class})

4.数据本地化调优

    spark.locality.wait.process 3s
    spark.locality.wait.node 3s
    spark.locality.wait.rack 3s

5.Shuffle调优

spark.reducer.maxSizeInFlight 48M
    reduce端一次拉取数据的量，可以设置多一些，减少节点之间数据的拉取次数。
spark.shuffle.io.maxRetries 3
    task在节点之间拉取数据尝试重试的次数，可以设置多一些，减少由于网络延迟或者数据所在节点Executor JVM 等待GC导致的失败。
spark.shuffle.io.retryWait 5s
    task拉取数据默认task失败的等待间隔。
spark.shuffle.sort.bypassMergeThreshold
    如果数据shuffle过程中不需要map端的聚合，只是将数据分散，可以使用bypass机制，默认这个参数是200。当Spark应用程序reduce task个数小于等于这个值时才会采用bypass机制，如果reduce task 个数大于这个值，可以设置这个参数大一些，使用bypass机制。

6.内存调节

统一内存中，降低spark.memory.fraction参数值，默认是0.6，如果Spark应用程序中对RDD的缓存要求不高，或者shuffle数据量不大，可以降低这个参数给task运行足够的内存。

7.堆外内存调节

yarn下：
    --conf spark.yarn.executor.memoryOverhead=2048 单位M
standalone下：
    --conf spark.executor.memoryOverhead=2048单位M

8.数据倾斜

1) 使用Hive ETL解决数据倾斜
2) 过滤少数倾斜的key
3) 增加并行度
4) 双重聚合方式解决数据倾斜

5）将reduce Join转换成map Join
    普通的join是会走shuffle过程的，而一旦shuffle，就相当于会将相同key的数据拉取到一个shuffle read task中再进行join，此时就是reduce join。但是如果一个RDD是比较小的，则可以采用广播小RDD全量数据+map算子来实现与join同样的效果，也就是map join，此时就不会发生shuffle操作，也就不会发生数据倾斜。
6）采样倾斜key并分拆join操作
    与第四种方式类似，采用将倾斜的key增加随机前缀的方式

    到这里，Spark在大数据方面的应用就差不多结束了，希望对大家在使用spark开发的过程中能有所帮助，Spark MLlib 在机器学习方面的应用之后在分享机器学习的时候再来分享。