大数据-数据仓库-数据倾斜

一、什么是数据倾斜

简单来说，数据倾斜就是数据的分布不平衡，在处理数据时有些很快处理完，而有些又迟迟未能处理完，导致整体任务最重迟迟无法完成，这种现象就是数据倾斜造成的。

数据倾斜就是key分布不均匀，分发到不同的reduce上，个别reduce任务特别重，导致其他reduce都完成，而这些个别的reduce迟迟不完成的情况。

二、数据倾斜原因

导致数据倾斜的原因有：

1. key分布不均匀
2. map端数据倾斜，输入文件太多且大小不一
3. reduce端数据倾斜，分区器问题
4. 某些sql语句本身容易产生数据倾斜
5. 业务数据本身的特征

三、数据倾斜的解决方案

3.1 参数调节

hive.map.aggr=true
Map端部分聚合，相当于Combiner
hive.groupby.skewindata=true

3.2 SQL语句调节

如何Join：
选取Join Key分布最均匀的表作为驱动表，做好列裁剪和filter操作，已达到两表做join的时候，数据量相对变小的效果。

大小表Join：
使用map join让小的维度表（1000条以下的记录条数）先进内存，在map端完成reduce。

大表Join大表：
把空值的key编程一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null值关联不上，处理后并不影响最终结果。

count distinct 大量相同特殊值：
count