Hive的In和exists效率低,可以改写成连接的方式来实现
IN、EXISTS改写为半连接或者内连接,NOT IN、NOT EXISTS改为反连接或外连接
半连接:
为了方便说明半连接的含义,这里我们用"t1.x semi= t2.y"来表示表T1和表T2做半连接,且T1是驱动表,T2是被驱动表,半连接条件为t1.x=t2.y。这里"t1.x semi= t2.y"的含义是只要在表T2中找到一条记录满足t1.x=t2.y,则马上停止搜索表T2,并直接返回表T1中满足条件t1.x=t2.y的记录。也就是说,表T2中满足半连接条件t1.x=t2.y的记录即使有多条,表T1中也只会返回第一条满足条件的记录。所以半连接和普通的内连接不同,半连接实际上会去重。
其中的反连接:
反连接就是在左外连接的基础之上,找到没能在右表中有匹配的行。
select *
from person as a
left join numbers as