group by 数据倾斜问题

Map阶段的同一个key数据会分发给相同的reduce,当这个key数据量过大时,就会出现数据倾斜问题

参数:
（1）是否在 Map 端进行聚合，默认为True
set hive.map.aggr = true
（2）在 Map 端进行聚合操作的条目数目
set hive.groupby.mapaggr.checkinterval = 100000
（3）有数据倾斜的时候进行负载均衡（默认是 false）
set hive.groupby.skewindata = true

---

注: 会有两个job,可能会慢上点,但会解决数据倾斜问题

当选项设定为 true，生成的查询计划会有两个 MR Job。第一个 MR Job 中，Map 的输出结果会随机分布到 Reduce 中，每个 Reduce 做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key 有可能被分发到不同的 Reduce 中，从而达到负载均衡的目的；第二个 MR Job 再根据预处理的数据结果按照Group By Key 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个Reduce 中），最后完成最终的聚合操作。