mysql exists 和 in的效率比较

有两张表A和B，A表数据500条，B表数据13000条，A表是主表，B表是子表，A表中一条数据在B表有多条数据对应。现在想查询出A中的数据，条件是B表标题列为空的不超过四个的A表的数据。

（1）NOT EXISTS用法

SELECT id1 FROM A o  WHERE  NOT EXISTS
(SELECT id2 FROM B p
WHERE o.id1=p.`id2` AND p.story_id IS NULL  AND p.galary_id IS NULL AND p.video_id  IS NULL AND p.audio_id IS NULL
GROUP BY id2
HAVING COUNT(id2)>5);

执行时间0.05秒

（2）EXISTS用法

SELECT id1 FROM A o  WHERE   EXISTS
(SELECT id2 FROM B p
WHERE o.id1=p.`id2` AND (p.story_id IS NOT NULL  OR p.galary_id IS NOT NULL OR p.video_id  IS NOT NULL OR p.audio_id IS NOT NULL)
GROUP BY id2
HAVING COUNT(id2)>=5);

执行时间0.052秒

（3）  IN 用法

SELECT id FROM A o  WHERE id  IN
(SELECT id FROM B p
WHERE  p.story_id IS NULL  AND p.galary_id IS NULL AND p.video_id  IS NULL AND p.audio_id IS NULL
GROUP BY id
HAVING COUNT(id)<5);

执行时间8.5秒

（4）NOT  IN用法

SELECT id FROM A o  WHERE id NOT  IN
(SELECT id FROM B p
WHERE  p.story_id IS NULL  AND p.galary_id IS NULL AND p.video_id  IS NULL AND p.audio_id IS NULL
GROUP BY id
HAVING COUNT(id)>5);

执行时间9.5秒

 

执行原理分析：

exists和in的使用方式：　　

1	#对B查询涉及id，使用索引，故B表效率高，可用大表 -->外小内大

1	select * from A where exists (select * from B where A.id=B.id);

1	#对A查询涉及id，使用索引，故A表效率高，可用大表 -->外大内小

1	select * from A where A.id in (select id from B);

select * from A
where id in(select id from B)

以上查询使用了in语句,in()只执行一次,它查出B表中的所有id字段并缓存起来.之后,检查A表的id是否与B表中的id相等,如果相等则将A表的记录加入结果集中,直到遍历完A表的所有记录.
它的查询过程类似于以下过程

List resultSet=[];
Array A=(select * from A);
Array B=(select id from B);

for(int i=0;i<A.length;i++) {
   for(int j=0;j<B.length;j++) {
      if(A[i].id==B[j].id) {
         resultSet.add(A[i]);
         break;
      }
   }
}
return resultSet;

可以看出,当B表数据较大时不适合使用in(),因为它会B表数据全部遍历一次.
如:A表有10000条记录,B表有1000000条记录,那么最多有可能遍历10000*1000000次,效率很差.
再如:A表有10000条记录,B表有100条记录,那么最多有可能遍历10000*100次,遍历次数大大减少,效率大大提升.

结论:in()适合B表比A表数据小的情况

select a.* from A a 
where exists(select 1 from B b where a.id=b.id)

以上查询使用了exists语句,exists()会执行A.length次,它并不缓存exists()结果集,因为exists()结果集的内容并不重要,重要的是结果集中是否有记录,如果有则返回true,没有则返回false.
它的查询过程类似于以下过程

List resultSet=[];
Array A=(select * from A)

for(int i=0;i<A.length;i++) {
   if(exists(A[i].id) {    //执行select 1 from B b where b.id=a.id是否有记录返回
       resultSet.add(A[i]);
   }
}
return resultSet;

当B表比A表数据大时适合使用exists(),因为它没有那么遍历操作,只需要再执行一次查询就行.
如:A表有10000条记录,B表有1000000条记录,那么exists()会执行10000次去判断A表中的id是否与B表中的id相等.
如:A表有10000条记录,B表有100000000条记录,那么exists()还是执行10000次,因为它只执行A.length次,可见B表数据越多,越适合exists()发挥效果.
再如:A表有10000条记录,B表有100条记录,那么exists()还是执行10000次,还不如使用in()遍历10000*100次,因为in()是在内存里遍历比较,而exists()需要查询数据库,我们都知道查询数据库所消耗的性能更高,而内存比较很快.

总结：

1、exists是对外表做loop循环，每次loop循环再对内表（子查询）进行查询，那么因为对内表的查询使用的索引（内表效率高，故可用大表），而外表有多大都需要遍历，不可避免（尽量用小表），故内表大的使用exists，可加快效率，包括内表是分组筛选后的结果比外表小的情况；

2、in是把外表和内表做hash连接，先查询内表，再把内表结果与外表匹配，对外表使用索引（外表效率高，可用大表），而内表多大都需要查询，不可避免，故外表大的使用in，可加快效率。

3、如果用not in ，则是内外表都全表扫描，无索引，效率低，可考虑使用not exists，也可使用A left join B on A.id=B.id where B.id is null 进行优化。

3、应用场景选择

外查询表大，子查询表小，选择IN；外查询表小，子查询表大（无论内表是不是分组筛选后的结果），选择EXISTS；若两表差不多大，则差不多。