hive之数据倾斜

hive之数据倾斜

如果大量数据都为空会导致数据倾斜放到同一个reduce执行影响效率
• 有数据倾斜的时候进行负载均衡
• hive.groupby.skewindata = false
--表现
1剩下几个task，执行的特别特别慢，前面的task，一般1s可以执行完5个；最后发现1000个task，998，999 task，要执行1个小时，2个小时才能执行完一个task。
2有的task，就是会突然间，啪，报了一个OOM，JVM Out Of Memory，内存溢出
--
计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。
关键因素是数据量大，可以达到千亿级
 用Hive算数据的时候reduce阶段卡在99.99%
 用SparkStreaming做实时算法时候，一直会有executor出现OOM的错误，但是其余的executor内存使用率却很低。
 
1、Hadoop中的数据倾斜
 Hadoop中的数据倾斜主要表现在ruduce阶段卡在99.99%，一直99.99%不能结束。
这里如果详细的看日志或者和监控界面的话会发现：

有一个多几个reduce卡住
各种container报错OOM
读写的数据量极大，至少远远超过其它正常的reduce
伴随着数据倾斜，会出现任务被kill等各种诡异的表现
经验： Hive的数据倾斜，一般都发生在Sql中Group和On上，而且和数据逻辑绑定比较深。

2、Spark中的数据倾斜

    Spark中的数据倾斜也很常见，这里包括Spark Streaming和Spark Sql，表现主要有下面几种：

Executor lost，OOM，Shuffle过程出错
Driver OOM
单个Executor执行时间特别久，整体任务卡在某个阶段不能结束
正常运行的任务突然失败

解决数据倾斜

    解决数据倾斜有这几个思路：
 1.业务逻辑，我们从业务逻辑的层面上来优化数据倾斜，比如上面的例子，我们单独对这两个城市来做count，最后和其它城市做整合。
2.程序层面，比如说在Hive中，经常遇到count（distinct）操作，这样会导致最终只有一个reduce，我们可以先group 再在外面包一层count，就可以了。
3.调参方面，Hadoop和Spark都自带了很多的参数和机制来调节数据倾斜，合理利用它们就能解决大部分问题。


二、解决方法一：聚合数据源
三、解决方法二：提高shuffle操作reduce并行度

四、解决方法之三：随机key实现双重聚合

五、解决方法之四：将reduce join 转换为map join

六、解决方法之五：sample采样倾斜key进行两次join

七、解决方法之六：使用随机数以及扩容表进行join