HIVE数据倾斜

数据倾斜的定义

由于各种原因造成数据分布不均匀，造成数据大量集中在一点，造成数据热点。

数据倾斜产生的现象

• 执行任务的时候，任务进度卡在99%，打开监控查看，只有一个或N个reduce任务处于运行未完成的状态。 这是因为处理的数据数量相比较其他reduce节点数据要大
• 单一reduce处理数据量比平均reduce处理的数据量要大，通常是3倍甚至更多。处理时间也大于平均时长。

数据倾斜的情况

数据倾斜的原因

• Key 分布不均匀
• 业务本身对某些维度需求较集中
• 建表的时候未考虑周到
• 某些SQL语句执行的时候，底层结构会造成数据倾斜

数据倾斜的解决方案

MAP端聚合

–Map端部分聚合，相当于Combine
hive.map.aggr= true;

–有数据倾斜的时候进行负载均衡
hive.groupby.skewindate=true;

解释 ：默认为true的时候，查询计划会有两个MR，第一个MR执行的时候，Map操作会将结果数据随机分到Reduce中，每个Reduce做部分聚合操作，并输出结果
**作用：**可以将相同的key值放在不同的reduce端处理
第二个MR job的作用是，是将第一个 MR job散落在不同的reduce端的数据聚合起来。完成最后的聚合操作。

关于数据负载均衡方面的调优操作

如何进行 JOIN

关于驱动表的选取，使用key值分布平均的表作为基准表，在进行JOIN操作的时候，可以做基准表进行列裁剪和filter 操作，达到基准表数据量变少的效果。

JOIN的情况：

• 大小表相互JOIN， 使用 map join 使得小表先进内存。
• 大表JOIN大表，将key为null值的数据变成一个字符串+随机数，反正null值也关联不上null值，处理后并不影响最终结果。
• count distinct 大量相同特殊值
  可以事先将空值过滤掉，等到最终结果+1处理
• group by 维度过小
  维度过小导致产出数据 <data,count()> 值过多，可以使用 group by + sum的方式
  替换 count （distinct ）操作。
• 特殊情况特殊处理
  在不更改逻辑的前提下，将造成倾斜的数据单独拿出来做处理，最后在 union 回去。