Hive谓词下推优化

谓词下推是Hive的一种查询优化策略,当where子句中的条件可以提前用于Join操作时,Hive会将这些条件推送到Join之前,以减少数据处理量。例如,在s和t两个表的Join查询中,如果where条件是小表t的id,Hive会先过滤t表,再进行Join,提高效率。但如果where条件涉及的是未参与Join的字段,则无法进行谓词下推,因为无法减少Join的数据量。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

谓词下推

/*

s表: 100W+数据
t表: 10W+数据
select 
t.id
from s
join t on s.id=t.id
where s.id < 10

如果按照正常的执行循序,肯定是先 on后面的条件,然后再执行where后面条件
,但是Hive会对这条语句进行一个优化,先走where后面的条件,然后再进行on后面的条件,这个就叫做谓词下推
假如你先执行on后面的条件,肯定要大表全表扫描然后和小表一个个比较,1000W+ 的数据量,速度可想而知。
但是如果你先执行where后面的判断,等过滤之后在进行on后面的判断,这样就会加速查询


select 
t.id
from s
join t on s.id=t.id
where s.num < 10
注意:这个就不会走谓词下推了,因为where后面的字段和on后面的字段不一致,即便你先判断完where后面的条件,对on还是没有起到优化的作用呀,所以Hive不会对其进行谓词下推

大概总结一下:
谓词下推:如果where判断后可以对Join判断之前做进一步的过滤,下么Hive就会进行谓词下推的优化
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

C_x_330

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值