朝和

Spark性能优化指南——高级篇忘记是在哪里找的了，这里面的内容曾经某个时期给予我特别大的帮助。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象Ÿ 绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个

如题，有些资源需要用到的时候其实挺难找的，大家可以借鉴一下，附上链接链接：https://pan.baidu.com/s/1nDHE7j6mKyDYbYyL4bqixA提取码：8pzy

set spark.sql.caseSensitive=FALSE; 设置不区分大小写set spark.speculation.interval='500';--检测周期，单位为毫秒set spark.speculation.quantile='0.75';--完成task的百分比时启动推测set spark.speculation.multiplier='1.5'; --比其它的慢多少倍时启动推测set spark.streaming.concurrentJobs='3'; --控制job并发度