hive group by 数据倾斜

最新推荐文章于 2025-05-28 22:14:30 发布

weixin_43922527

最新推荐文章于 2025-05-28 22:14:30 发布

阅读量637

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_43922527/article/details/104746800

本文探讨了Hive中三个关键设置：sethive.map.aggr，用于决定是否在Map端进行聚合；sethive.groupby.mapaggr.checkinterval，设定在Map端聚合的条目数；sethive.groupby.skewindata，当Group By操作遇到数据倾斜时启用负载均衡。这些配置对于提升Hive查询效率至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

set hive.map.aggr=true 是否在map端进行聚合，默认为true
set hive.groupby.mapaggr.checkinterval=100000 在map端进行聚合的条目数
set hive.groupby.skewindata=true 当使用group by 有数据倾斜的时候进行负载均衡。