实例：HiveSql数据倾斜处理

最新推荐文章于 2024-04-18 08:57:41 发布

数据不吹牛

最新推荐文章于 2024-04-18 08:57:41 发布

阅读量557

点赞数

文章标签： css https html js hive

本文探讨了面试中常遇的Hive数据倾斜问题，通过创建临时表处理热点key，介绍mapjoin加速策略，并针对空值特殊情况进行了优化。提供了一套完整的解决方案和SQL实例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

|0x00 问题概述

在面试的时候，经常会问到一个问题：Hive在Join的时候，经常因为热点key的问题，导致数据倾斜，应该怎么解决？方法很简单，对导致倾斜的key做单独处理即可，最后再做union，那么Sql应该怎么写？

|0x01 常规处理

我们首先建一张临时表：

insert overwrite table tmp_0
select hot_key
from (
    select   hot_key
             ,count(1) as cnt
    from     table_0
    where    dt = '20201206'
    group by hot_key
) a
where    cnt >= 10000
;

然后将热点的key单独组装一段sql：

select *
from  table_1 a
join   tmp_0 b
on     a.key = b.hot_key
;

最后处理非热点key：

select *
from  table_1 a
left join tmp_0 b
on     a.key = b.hot_key
where  b.hot_key is null
;

|0x02 考虑mapjoin

当然，我们还有办法提速吗？有的，是使用mapjoin，参考下面的写法：

select /*+mapjoin(b)*/
       b.*
from   tmp_0 a 
right join table_1 b
on     a.hot_key = b.key
where  a.hot_key is null
;

|0xFF 考虑空值

当然，大多数情况下，key都是有空值情况存在的，我们需要对空值做特殊处理，以上一段sql为例：

select  /*+mapjoin(b1)*/
        b.*
from    tmp_0 a 
right join table_1 b
on      a.hot_key = coalesce(b.key, concat('other', rand()))
where   a.hot_key is null