Hive之count (distinct)剖析与优化

在处理大数据量的Hive SQL时,使用`count(distinct)`可能导致数据倾斜和执行缓慢。通过分析,发现当数据量超过一定规模时,使用`count`结合`group by`能显著提高统计去重的效率。例如,将`count(distinct column)`替换为`count(column)`配合`group by`,在保持正确性的同时,提高了查询速度,尤其是在数据量过亿的场景下,性能提升可达7倍。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

HIVE —— count distinct优化方法

市场部小姐姐:我的sql为啥这么慢呀?
做去重统计时,小姐姐一般都这么写:

select
  count(distinct (bill_no)) as visit_users
from
  i_usoc_user_info_d
where
  p_day = '20200408'
  and bill_no is not null
  and bill_no 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值