EXISTS vs IN vs JOIN：百万数据下的性能实测

原创 于 2025-12-02 10:12:22 发布 · 494 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

快速体验

  1. 打开 InsCode(快马)平台 https://www.inscode.net
  2. 输入框内输入如下内容： 
    创建一个MySQL查询性能对比工具，自动生成测试数据并执行三种查询方式：1) EXISTS子查询 2) IN子查询 3) JOIN查询。功能包括：1) 可配置数据量（1万到百万级）2) 相同查询逻辑的三种实现 3) 执行时间统计和比较 4) 执行计划可视化。使用Python脚本自动生成测试数据，Java Spring Boot提供REST API，前端用ECharts展示对比结果。
  3. 点击'项目生成'按钮，等待项目生成完整后预览效果

示例图片

最近在优化公司项目的数据库查询时，发现同事对EXISTS、IN和JOIN的使用场景有很多争论。为了找出最合适的查询方式，我决定做一个性能对比实验，分享下实测结果和优化心得。

  1. 测试环境搭建

先设计了一个包含用户表和订单表的测试数据库，用Python脚本自动生成1万到100万条随机数据。关键字段包括用户ID、订单金额、创建时间等常见业务字段。数据生成时会确保存在适当的关联关系，比如部分用户有订单、部分用户没有订单。

  1. 三种查询方式实现

针对相同的查询需求（比如查找有订单的用户），分别用三种方式实现： - EXISTS子查询：通过WHERE EXISTS判断关联记录是否存在 - IN子查询：用WHERE IN列出所有符合条件的用户ID - JOIN查询：通过内连接直接关联两表并去重

  1. 执行效率对比

在1万条数据量时，三种方式耗时都在毫秒级，差别不大。但数据量增加到10万条时，差异开始显现： - EXISTS平均耗时比IN快约30% - JOIN在简单查询中表现最好，比EXISTS还快15% - IN随着数据量增长性能下降最明显

当数据达到百万级时，EXISTS和JOIN仍然保持较好的线性增长，而IN查询的耗时呈现指数级上升。特别是在关联字段没有索引时，IN的性能会急剧恶化。

  1. 执行计划分析

通过EXPLAIN查看执行计划发现： - EXISTS通常会利用半连接优化，避免全表扫描 - IN在MySQL5.6之后会被优化为半连接，但复杂查询仍可能失效 - JOIN在简单关联时效率最高，但多表复杂关联可能产生临时表

  1. 优化建议

根据测试结果整理了几条实用建议： - 小数据量可以随意选择，但养成使用EXISTS的习惯更好 - 大数据量关联查询优先考虑JOIN或EXISTS - 使用IN时要确保关联字段有索引，且子查询结果集不大 - 定期检查慢查询日志，对高频查询进行EXPLAIN分析

  1. 工具实现技巧

为了更方便做这类测试，我用Spring Boot开发了个小工具： - 后端提供生成测试数据和执行查询的API - 前端用ECharts可视化不同查询的耗时对比 - 自动记录执行计划并高亮关键指标

这个工具帮我节省了大量重复测试的时间，也让我更直观地理解了不同查询方式的特性。

通过这次实践，我发现数据库优化不能只靠经验，实际测试数据才是最有说服力的。特别是在业务数据量快速增长时，早期的查询方式可能成为性能瓶颈。建议大家在关键业务上线前都做下类似的基准测试。

最近发现InsCode(快马)平台可以快速部署这类性能测试工具，他们的Java环境和MySQL都是预装好的，还能一键发布成可访问的网页服务，特别适合做技术验证。示例图片 实测从代码上传到服务上线只要2分钟，省去了自己配置服务器的时间。

快速体验

  1. 打开 InsCode(快马)平台 https://www.inscode.net
  2. 输入框内输入如下内容： 
    创建一个MySQL查询性能对比工具，自动生成测试数据并执行三种查询方式：1) EXISTS子查询 2) IN子查询 3) JOIN查询。功能包括：1) 可配置数据量（1万到百万级）2) 相同查询逻辑的三种实现 3) 执行时间统计和比较 4) 执行计划可视化。使用Python脚本自动生成测试数据，Java Spring Boot提供REST API，前端用ECharts展示对比结果。
  3. 点击'项目生成'按钮，等待项目生成完整后预览效果

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

深入理解 SQL 中的 IN、NOT IN 与关联操作（JOIN）：语义、陷阱与性能优化指南
石榴姐yyds
11-14 47
SQL查询中的IN、NOTIN与JOIN操作对比与优化指南 摘要： 本文系统分析了SQL中IN/NOTIN与JOIN操作的异同，重点揭示了NOTIN在处理NULL值时的致命缺陷。文章指出，IN适用于存在性判断，JOIN适合关联数据获取，而NOTIN因NULL值会导致意外空结果集，推荐使用NOT EXISTS或LEFT JOIN...ISNULL替代。通过电商、半导体制造等实际场景，展示了不同操作的选择策略，并提供了性能优化建议，包括索引设计、执行计划监控等。最后给出了明确的决策流程图，帮助开发者在不同场景下
百万级爬虫数据存储PK：MongoDB批量写入vs MySQL分表，10万条实测告诉你谁更抗揍
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
10-30 525
实测下来，MongoDB在写入速度、动态字段支持、扩展性上碾压MySQL分表，尤其适合爬虫“写多读少、字段灵活”的场景；但MySQL分表在结构化数据、复杂查询、团队熟悉度上更有优势。最后给个实战建议：中小规模爬虫（日增量<10万条），两种方案都能扛住，看团队技术栈；大规模爬虫（日增量>50万条），优先选MongoDB+分片，避免被MySQL分表的“跨表查询”和“索引维护”拖垮。
1000万数据下 IN 查询性能实测，MySQL索引陷阱：IN查询为何“失效”？
lfeishumomol的博客
09-06 510
摘要：本文通过实战案例分析了MySQL中IN查询的性能差异及优化方案。当IN查询条件命中复合索引的最左前缀时（如report_date），查询速度较快（0.8s）；而跳过最左列直接查询staff_id会导致全表扫描（3.015s）。优化建议包括：为高频字段单独建索引（提升120倍）、控制IN列表长度（<1000）、使用覆盖索引减少回表操作，以及通过EXPLAIN监控执行计划。关键结论是：IN查询性能取决于索引设计，需遵循最左前缀原则，避免超长IN列表触发优化器改用全表扫描。
IN子查询与JOIN的区别理解
Daoxifu的博客
06-24 4497
深入对比IN子查询和JOIN的本质区别、适用场景、性能表现、以及可能隐藏的坑。
【ASR数据集】中文方言ASR数据集KeSpeech实测：开源模型对决，FireRedASR性能遥遥领先！
yd778473278的博客
09-15 1560
KeSpeech数据集覆盖普通话及北京、西南、中原、东北、兰银、江淮、冀鲁、胶辽宫8 种方言。 在开源 ASR 模型测试中，中文以字错误率（CER）为指标，FireRedASR 表现最优，总 CER 仅 4.7511，显著优于其他模型；Qwen2-Audio、Paraformer、Dolphin 性能相近，总 WER 在 11-13 区间；Whisper 与 PaddleSpeech 表现较弱，总 WER 超 34。印证了 FireRedASR 在中文方言识别领域的优势。
告别重复劳动：5款AI数据标注工具实测，效率提升背后的技术逻辑
热门推荐
千淘万漉虽辛苦，吹尽狂沙始到金
08-13 1万+
实测5款AI标注工具后，最深的感受是：AI标注的终极价值不是“消灭人工标注”，而是让人从机械重复的劳动中解放，聚焦于更有价值的工作——定义标注规则、处理复杂场景、优化标注质量。数据显示，采用AI标注工具后，标注团队的工作重心从“执行标注”转向“质量把控和规则优化”，人均创造的价值提升3-5倍。选择AI标注工具时，不必追求“最好”，而应聚焦“最适合”：中小团队可用Label Studio控制成本，CV专项场景优先V7 Darwin，企业级需求考虑LabelBox，国产化场景重点评估飞桨智能标注平台。
Brotli压缩CPU占用实测：从0到1性能监控指南
gitblog_00244的博客
09-23 425
你是否曾遇到过网站加载缓慢、服务器资源紧张的问题？作为Web开发者或运维人员，你可能知道Brotli压缩算法能有效减少传输数据量，但你是否关注过它在后台默默消耗的CPU资源？当用户抱怨页面加载延迟时，也许真正的瓶颈不是带宽，而是Brotli压缩过程中过高的CPU占用。本文将带你深入了解如何精准测量Brotli压缩算法的CPU使用率，通过实用工具和代码示例，帮助你在压缩效率与服务器性能之间找到完美平...
B站多线程插入60w数据性能实测
weixin_61503139的博客
07-12 422
必须调节JVM内存大小,不然直接内存溢出,list该清空的清空。
MySQL查询：IN操作符全解析_从基础语法到高效查询
sg_knight的专栏
08-12 763
本文深入解析MySQL中IN操作符的执行原理与优化策略。通过实测数据对比，验证IN在多值匹配时比OR更高效，并揭示四大性能陷阱：大列表溢出、子查询全表扫描、隐式类型转换和空列表异常。针对这些问题，提出分批查询、JOIN改写、类型匹配等优化方案。文章还介绍六种高阶技巧，如索引配合、NOT IN优化、动态IN列表等，并对比不同方案的执行效率。最后总结四大核心原则：控制数量、类型一致、索引匹配和子查询优化，为企业级数据库优化提供实用指南。关键指标包括IN列表长度、字段索引、子查询行数等，不同MySQL版本优化策略
地理位置查询在二手房系统中的实现（PostGIS vs MongoDB性能对比实测数据）
# 地理位置查询在二手房系统中的技术抉择：PostGIS 与 MongoDB 深度对决 想象这样一个场景：一位购房者打开手机上的房产 App，地图缓缓展开。他轻轻一划，框选出自己感兴趣的区域——朝阳大悦城周边三公里内、总价...
三款神级工具性能实测对比：启动速度、内存占用、响应延迟数据全公开（结果出人意料）
# 三款神级工具性能实测对比：启动速度、内存占用、响应延迟数据全公开（结果出人意料） 在智能家居设备日益复杂的今天，确保无线连接的稳定性已成为一大设计挑战。MT7697作为一款高度集成的Wi-Fi与蓝牙5.0双模芯片...
CheesyFabric_deepdive_analyst_7984_1764666209192.zip
12-03
CheesyFabric_deepdive_analyst_7984_1764666209192.zip
【卫星抗干扰】一种用于全球导航卫星系统反欺骗的空时融合方法【附MATLAB代码】.rar
12-03
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
遗传算法重新配置配电网络（IEEE 33和69总线系统.zip
最新发布
12-03
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
windows下定期自动清空某个文件夹（比如在公司电脑上定期清空微信的聊天记录）
12-03
windows下定期自动清空某个文件夹（比如在公司电脑上定期清空微信的聊天记录）
网络爬虫基于Python的豆瓣电影Top250数据采集：使用Requests与BeautifulSoup实现网页内容解析
12-03
内容概要：本文通过一个简单的Python爬虫实例，演示了如何使用requests库发送HTTP请求，获取豆瓣电影Top250页面的数据，并利用BeautifulSoup解析HTML内容，提取出中文电影名称。代码实现了基本的网页抓取与数据清洗流程，包括设置请求头模拟浏览器行为以应对简单反爬机制、解析响应文本以及过滤非中文片名，最终输出纯净的电影标题列表。; 适合人群：具备Python基础语法知识，对网络爬虫感兴趣的初学者或刚入门的数据采集学习者；适合学习Web数据获取的基本流程和技术栈。; 使用场景及目标：①学习如何使用requests发起网络请求并携带请求头信息；②掌握BeautifulSoup进行HTML结构化解析的方法；③理解网页内容提取与数据过滤的基本逻辑，为后续深入学习爬虫框架（如Scrapy）打下基础。; 阅读建议：建议读者在本地环境中配置好相关库（requests、BeautifulSoup），动手运行并调试代码，尝试修改选择器或目标网站以加深理解，同时注意遵守网站的robots协议，合理控制请求频率。
基于粒子群优化算法的p-Hub选址优化（Matlab代码实现）
12-03
内容概要：本文介绍了基于粒子群优化算法（PSO）的p-Hub选址优化问题的研究与实现，重点解决在考虑不确定性因素下的集群式物流或交通网络中枢纽节点（Hub）的选址优化问题。通过构建数学模型，结合Matlab编程实现粒子群算法对p-Hub选址问题进行求解，旨在最小化网络总体运输成本并提升系统效率。文章涵盖了问题建模、算法设计、参数设置及仿真结果分析全过程，展示了PSO在复杂组合优化问题中的应用能力。; 适合人群：具备一定运筹学、优化算法基础，熟悉Matlab编程，从事物流网络设计、智能算法研究或交通系统优化等相关领域的研究生、科研人员及工程技术人员。; 使用场景及目标：①掌握p-Hub选址问题的基本理论与建模范式；②学习如何基于粒子群优化算法的p-Hub选址优化（Matlab代码实现）将粒子群优化算法应用于实际网络优化问题；③通过Matlab代码实现理解智能优化算法的编码流程与调参技巧；④为物流、通信、航空等枢纽网络设计提供解决方案参考。; 阅读建议：建议读者结合文中提供的Matlab代码逐行理解算法实现细节，尝试调整参数或引入其他改进策略（如自适应权重、混合算法）以提升优化性能，同时可扩展至带容量约束、多分配或多目标的Hub选址问题进行深入研究。
（41页PPT）某高校智算中心解决方案.pptx
12-03
（41页PPT）某高校智算中心解决方案.pptx
（42页PPT）社会治理信息平台整体解决方案.pptx
12-03
（42页PPT）社会治理信息平台整体解决方案.pptx
select语句中 in和exists哪个性能好
03-20
<think>嗯，用户想比较SQL查询中IN和EXISTS的性能差异。我需要先回忆一下这两种子句的基本区别。IN用于检查某个值是否在子查询的结果集中，而EXISTS则是检查子查询是否返回了任何行。接下来，性能方面，可能和子查询的结果集大小以及索引的使用有关。 记得之前看的资料里提到，当子查询结果集很大时，EXISTS可能更高效，因为它一旦找到匹配项就会停止搜索。而IN可能会生成整个结果集，再进行匹配，这样在数据量大时可能会更慢。不过如果子查询结果集小的话，IN可能更快，因为可以生成一个静态列表直接比较。 还要考虑NULL值的影响，IN在处理NULL时可能会有不同的结果，比如如果子查询中有NULL，那么NOT IN的行为可能不符合预期，而EXISTS对NULL的处理更安全一些。但用户的问题主要是性能比较，这点可能需要稍微提到，但不是重点。 索引的使用也很关键，如果子查询中的列有索引，EXISTS可能会利用索引来加速查询，而IN可能也会利用，但具体情况可能不同。例如，EXISTS通常会使用半连接（Semi Join），而IN可能会转化为不同的执行计划，比如哈希连接或者合并连接，这取决于优化器的选择。 另外，执行计划的不同可能影响性能。比如，EXISTS可能会生成一个反半连接（Anti Join），这在处理不存在的情况时更高效。而IN可能在某些情况下生成不同的计划，导致性能差异。 然后，我需要参考用户提供的引用内容。引用[2]提到，当涉及的列都不为NULL时，NOT EXISTS和NOT IN是搜索缺失值的最佳方式，会生成安全高效的执行计划，带有某种反连接。这说明在特定条件下，两者的性能可能接近，但需要注意NULL的情况。 用户可能的应用场景是优化SQL查询，所以需要给出实际测试的建议，比如使用执行计划分析工具，或者像引用[4]提到的使用SQL性能分析器来比较不同写法的性能。此外，引用[3]也提到可以使用SQL性能分析器预测更改对性能的影响，这可能对用户有帮助。 需要总结IN和EXISTS在不同情况下的适用性，比如子查询大小、索引情况、NULL处理等，并给出优化建议，如测试执行计划、使用统计信息等。可能还需要提醒用户注意数据库优化器的版本和统计信息的准确性，因为不同的数据库系统可能有不同的优化策略。 最后，生成的相关问题应该围绕性能比较、优化方法、实际应用场景以及替代方案等方面，帮助用户进一步探索。</think>### SQL中IN与EXISTS性能比较分析 #### 1. 基本特性对比 - **IN子句**：用于检查主查询的列值是否包含在子查询结果集中。例如： ```sql SELECT * FROM table1 WHERE id IN (SELECT id FROM table2 WHERE condition); ``` 若子查询返回的结果集较小，数据库可能将其缓存为静态列表进行快速匹配[^2]。 - **EXISTS子句**：仅判断子查询是否返回至少一行结果，不关注具体数据量。例如： ```sql SELECT * FROM table1 t1 WHERE EXISTS (SELECT 1 FROM table2 t2 WHERE t2.id = t1.id); ``` 其执行过程通常在找到第一个匹配项后立即终止扫描，适合子查询结果集较大的场景[^1]。 #### 2. 性能影响因素 | 场景 | IN子句表现 | EXISTS子句表现 | |---------------------|---------------------------|-----------------------------| | **子查询结果集小** | 高效（哈希表缓存） | 可能略低效（需逐行验证） | | **子查询结果集大** | 低效（全量加载） | 高效（短路逻辑） | | **索引覆盖** | 依赖子查询列的索引 | 依赖关联条件的索引 | | **NULL值处理** | 存在逻辑风险（如`NOT IN`） | 更安全（自动处理NULL）[^2] | #### 3. 执行计划差异 - **IN可能转化为`SEMI JOIN`**：若数据库优化器判断合理，IN会通过半连接实现，与EXISTS性能接近。 - **EXISTS默认使用`SEMI JOIN`**：通常生成更优化的反连接（Anti Join）计划，尤其在`NOT EXISTS`场景中。 - 示例执行计划对比（Oracle）： ```sql -- IN子句可能产生HASH JOIN -- EXISTS子句可能产生NESTED LOOP SEMI JOIN ``` #### 4. 优化建议 1. **优先测试执行计划** 使用`EXPLAIN PLAN`命令分析具体查询： ```sql EXPLAIN PLAN FOR SELECT * FROM employees WHERE department_id IN (SELECT id FROM departments); ``` 2. **统计信息更新** 确保表和索引的统计信息准确： ```sql EXEC DBMS_STATS.GATHER_TABLE_STATS('HR', 'EMPLOYEES'); ``` 3. **强制索引使用（必要时）** 通过HINT引导优化器： ```sql SELECT /*+ INDEX(t1 idx_id) */ * FROM table1 t1 WHERE EXISTS (SELECT 1 FROM table2 t2 WHERE t2.id = t1.id); ``` 4. **替代方案对比** 对于复杂场景，可考虑`JOIN`或`EXCEPT`（SQL Server）： ```sql -- 使用LEFT JOIN替代NOT EXISTS SELECT t1.* FROM table1 t1 LEFT JOIN table2 t2 ON t1.id = t2.id WHERE t2.id IS NULL; ``` #### 5. 实测工具推荐 - **Oracle SQL性能分析器** 通过创建SQL集对比不同写法： ```sql BEGIN DBMS_SQLTUNE.CREATE_SQLSET( SQLSET_NAME => 'PERF_COMPARE', DESCRIPTION => 'IN vs EXISTS性能对比' ); END; ``` 可捕获执行时间、逻辑读等关键指标[^3][^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

RubyLion28

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值