hive join时主表空值过多产生数据倾斜问题

原创已于 2022-02-22 15:40:58 修改 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hive

于 2022-02-22 15:33:45 首次发布

Hive 专栏收录该内容

19 篇文章

订阅专栏

在进行大数据处理时，尤其是在多个表进行关联操作（JOIN）时，如果主表过大且某一字段值过于集中，会导致数据倾斜，严重影响处理效率。为了解决这个问题，可以采取策略将数据均匀分配到各个任务中。例如，对于空值情况，可以通过在查询时引入RAND(1)来达到均匀分布的目的。这样可以优化JOIN操作，避免数据倾斜导致的性能瓶颈。

在各个表做关联的时候，如果主表过大且某个值过多再去join其他表很容易产生数据倾斜问题

我们的思路就是要将数据均匀的分配到每个任务上

这里我们以空值为例，使用rand（1）即可均匀分配数据

select * 
from
(select *,case when department in ('-999','') then rand(1) else department  end as department2 from   profile_v2.detail_member_user_info_base) a
LEFT JOIN profile_v2.member_user_info_red_ticket b ON a.department2 = b.store_id;