Hive的in和exists改写,半连接和反连接

本文详细介绍了Hive中如何将低效的IN、EXISTS子查询改写为半连接或反连接,以提高查询效率。通过NESTED LOOP SEMI和HASH JOIN SEMI两种方式解释了半连接的执行过程,并提供了等价的IN和INNER JOIN改写示例。同时,讨论了反连接的概念,包括NESTED LOOP ANTI和HASH JOIN ANTI,以及它们的等价外连接改写方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hive的In和exists效率低,可以改写成连接的方式来实现

IN、EXISTS改写为半连接或者内连接,NOT IN、NOT EXISTS改为反连接或外连接

半连接:

      为了方便说明半连接的含义,这里我们用"t1.x semi= t2.y"来表示表T1和表T2做半连接,且T1是驱动表,T2是被驱动表,半连接条件为t1.x=t2.y。这里"t1.x semi= t2.y"的含义是只要在表T2中找到一条记录满足t1.x=t2.y,则马上停止搜索表T2,并直接返回表T1中满足条件t1.x=t2.y的记录。也就是说,表T2中满足半连接条件t1.x=t2.y的记录即使有多条,表T1中也只会返回第一条满足条件的记录所以半连接和普通的内连接不同,半连接实际上会去重

其中的反连接:

反连接就是在左外连接的基础之上,找到没能在右表中有匹配的行。

select *  
from person as a
left join numbers as 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值