用分桶解决动态分区最后一轮reducer数量过少导致运行缓慢问题。

最新推荐文章于 2023-10-04 00:53:47 发布

i000zheng

最新推荐文章于 2023-10-04 00:53:47 发布

阅读量1.2k

点赞数

分类专栏： Hive 文章标签： Hive 分桶动态分区数据倾斜

本文链接：https://blog.youkuaiyun.com/i000zheng/article/details/80987650

版权

当Hive动态分区的分区值较少时，会导致最后一轮reduce任务数据倾斜，运行缓慢。通过引入分桶策略，按照特定key进行分桶，可以细化每个动态分区内的数据分布，增加reducer数量，有效缓解数据倾斜问题，提高任务执行效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

场景

动态分区时，最后一轮reduce会按照字段的值作为key去分发数据到不同的reducer，但是如果分区值的数量过少，就会导致严重的数据倾斜。运行时间过长。

任务growth.m_device_impression.sql中，由于p_app_name是分区字段，而目前只有三个可能的值，所以最后一轮按key分发任务时，只有三个reducer。其中某个值的那个reducer要跑一个小时。这是由于数据倾斜导致的任务满问题。

-- 简化版sql
USE growth;
CREATE TABLE IF NOT EXISTS m_device_impression
(
  platform_type STRING,
  device_id BIGINT
  impression BIGINT,
)
PARTITIONED BY (p_date STRING,  p_app_name STRING)
--CLUSTERED BY(device_id) INTO 30 BUCKETS
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS
  INPUTFORMAT "org.apache.hado