永远小表驱动大表

原创 于 2021-04-27 19:55:19 发布 · 211 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mysql #数据库

本文深入探讨数据库查询优化，重点讲解小表驱动大表的查询策略，帮助提高SQL查询效率。通过实例分析，了解如何在实际操作中应用这一原则，提升数据库性能。

本教程中所使用的数据库的建表语句都在“MySQL高阶教程索引”这篇文章中，点击链接直达：索引&建表语句

摘要：本文主要介绍查询截取分析模块的优化查询

 

永远小表驱动大表

 

 

 

#一（查询优化）、

 

 

#1、

 

【MySQL】小表驱动大表
九师兄
07-10 1042
1.概述 前言：本来小表驱动大表的知识应该在前面就讲解的，但是由于之前并没有学习数据批量插入，因此将其放在这里。在查询的优化中永远小表驱动大表。 1.为什么要小表驱动大表呢 类似循环嵌套 for(int i=5;.......) { for(int j=1000;......) {} } 如果小的循环在外层，对于数据库连接来说就只连接5次，进行5000次操作，如果1000在外，则需要进行1000次数据库连接，从而浪费资源，增加消耗。这就是为什么要小表驱动大表。 2.数据准备 根据My.
表驱动与工厂模式
风马牛
07-13 2312
C++中如何使用表驱动配合工厂模式创建对象？什么是指向成员函数的指针？每个类真的会给你生成默认构造函数吗？本次在实验指向成员函数的过程中对这些问题进行了总结，欢迎大家给出意见~~
小表驱动大表（MySQL高级知识十六）
08-08 221
前言：本来小表驱动大表的知识应该在前面就讲解的，但是由于之前并没有学习数据批量插入，因此将其放在这里。在查询的优化中永远小表驱动大表。 1.为什么要小表驱动大表呢 类似循环嵌套 for(int i=5;.......) { for(int j=1000;......)...
sql优化02之小表驱动大表
fly_miqiqi的博客
05-19 9183
1. 驱动表的定义 当进行多表连接查询时， [驱动表] 的定义为： 1）指定了过滤条件时，满足查询条件的记录行数少的表为[驱动表] 2）未指定过滤条件时，行数少的表为[驱动表]（Important!） 2. 为何要 小表驱动大表？？ 通常来讲，不管Oracle还是Mysql，优化的目标都是尽可能的减少关联的 循环次数，保证小表驱动大表 例: user表1...
MySQL 查询优化 之 【小表驱动大表，小数据集驱动大数据集】
ppxin的专栏
09-30 1426
Mysql在进行关联表查询时，通常先对一张表A进行查询，然后将循环使用查询出来的每一条记录的关联信息，再来查询另一张表B中的记录，这样查询次数为1 + COUNT(从表A查询的记录)。所以，为了提高查询效率，需要尽量将小表作为首先查询的表，我们可以关联查询时首次使用的表A为主表，将其它表如表B成为嵌套表。 一、IN和EXISTS查询 根据MySQL高级知识（十）——批量插入数据脚本中的相应步骤...
MySql 小表驱动大表
耐得住寂寞才能擒得住繁华.
11-24 1077
有的时候我们在操作数据库时会将两个或多个数据表关联起来通过一些条件筛选数据，在关联表时我们要遵循一些原则，这样会使我们编写的SQL 语句在效率上快很多。优化原则：     小表驱动大表，即小的数据集驱动大得数据集。在知道什么是小表驱动达大表之前，我们先来了解两个查询关键字，IN 与 EXISTS。我们通过两段查询语句先来了解一下它们的作用。我建立了两张表，一张员工表，一张部门表，员工表中有部门id
oracle 小表驱动大表,sql优化02之小表驱动大表
weixin_28811345的博客
04-04 2930
1. 驱动表的定义 当进行多表连接查询时， [驱动表] 的定义为：1)指定了过滤条件时，满足查询条件的记录行数少的表为[驱动表]2)未指定过滤条件时，行数少的表为[驱动表](Important!)2. 为何要 小表驱动大表？？通常来讲，不管Oracle还是Mysql，优化的目标都是尽可能的减少关联的 循环次数，保证小表驱动大表例: user表10000条数据，class表20条数据select *...
mysql 大表 驱动_MySQL小表驱动大表
weixin_30610943的博客
01-27 2025
在了解之前要先了解对应语法 in 与 exist。in后的括号的表达式结果要求先输出一列字段。与之前的搜索字段匹配，匹配到相同则返回对应行。mysql的执行顺序是先执行子查询，然后执行主查询，用子查询的结果按条匹配主查询。exist后的括号里则无输出要求，exist判断后面的结果集中有没有行，有行则返回外层查询对应的行。ps所以exist还可以这样写： 用常量替换* ，反正是判断有没有行，不需要实...
mysql 小表连大表_3.mysql小表驱动大表的4种表连接算法
weixin_29016865的博客
01-18 1864
小表驱动大表1、概念驱动表的概念是指多表关联查询时，第一个被处理的表，使用此表的记录去关联其他表。驱动表的确定很关键，会直接影响多表连接的关联顺序，也决定了后续关联时的查询性能。2、原则驱动表的选择遵循一个原则：在对最终结果集没影响的前提下，优先选择结果集最小的那张表作为驱动表。改变驱动表就意味着改变连接顺序，只有在不会改变最终输出结果的前提下才可以对驱动表做优化选择。外连接的顺序改变就很可能影响...
Micropython for esp32s3 st7735 TFT显示屏驱动、st7789 TFT显示屏驱动、支持中文字符显示
04-13
随着物联网技术的不断发展，嵌入式设备的功能日益强大，开发者对高效编程的需求愈发明显。...随着技术的不断进步和应用需求的日益增长，相信ESP32-S3配合本项目驱动将会在教育、工业控制、智能家居等多个领域大放异彩。
CH592 Peripheral驱动墨水屏EPD、aht20代码 CH592 SPI驱动墨水屏 IIC驱动aht10
03-12
由于其特性，EPD的驱动需要特定的驱动方式，这里我们使用CH592通过SPI接口进行驱动。SPI接口是一种高速的全双工通信接口，数据传输速率快，能够满足墨水屏快速刷新的需求。在实际应用中，开发人员需要根据EPD的技术...
dell T430 raid驱动
09-09
在本文中，我们将深入探讨戴尔T430服务器的RAID驱动程序以及如何解决服务器无法识别SATA硬盘的问题。 RAID，全称为“廉价冗余磁盘阵列”（Redundant Array of Independent Disks），是一种通过将多个硬盘组合成逻辑...
Explain字段解释——ref
待到春花烂漫时
12-15 7464
本教程中所使用的数据库的建表语句都在“MySQL高阶教程索引”这篇文章中，点击链接直达：索引&建表语句 摘要：本文主要介绍Explain的常见字段——ref Explain字段解释——ref ref指某个表“=”号后的东西。 ...
MySQL高阶教程索引
待到春花烂漫时
12-03 6774
导语：本教程是笔者用mysql做了一年多简单的开发后，对MySQL有了一定的理解，为了夯实自己的MySQL数据库基础，对MySQL进行了二次学习，期间记下了很多笔记，本教程即是以这些笔记为大纲，内容详尽，理论和实战相结合。如果觉得自己对MySQL的了解不够深入，可以阅读文中的知识概念，并亲手敲一遍文中的实例代码，走完整个教程之后，一定会让自己对MySQL有更加深刻的理解！ 本篇文章为整个教程的索引部分，可以在这里看到所有文章的层次关系，或者下载文章中使用的数据库SQL文件。 一、M...
Explain字段解释——possible_keys
待到春花烂漫时
12-15 6337
本教程中所使用的数据库的建表语句都在“MySQL高阶教程索引”这篇文章中，点击链接直达：索引&建表语句 摘要：本文主要介绍Explain的常见字段——possible_keys Explain字段解释——possible_keys 问：什么是覆盖索引？ 如果一个索引包含(或覆盖)所有需要查询的字段的值，称为‘覆盖索引’。即只需扫描索引而无须回表。 问：什么叫一个索引包含了所要查询的所有列？ 就是存在一个索引，它包含了select后...
Explain字段解释——type（重点）
待到春花烂漫时
12-15 4009
本教程中所使用的数据库的建表语句都在“MySQL高阶教程索引”这篇文章中，点击链接直达：索引&建表语句 摘要：本文主要介绍Explain的核心字段——type Explain字段解释——type（重点） 1.system &const System只出现于单表单行（一张表只有一行数据）~基本不可能存在的 2.eq_ref 唯一性索引扫描，对于每一个索引键，表中只有一行数据与之对应，常见于主键或者唯一索引扫描。 ...
哪些情况下需要/不需要建立索引
待到春花烂漫时
12-09 2790
本教程中所使用的数据库的建表语句都在“MySQL高阶教程索引”这篇文章中，点击链接直达：索引&建表语句 摘要：本文讲述MySQL索引建立的场景 哪些情况下需要/不需要建立索引 1、哪些情况下需要创建索引 2、哪些情况下不需要创建索引 表记录太少 经常增删改的表 why：虽然提高了查询速度，但同时会降低更新表的速度，如对表进行insert、update和delete。 因为更新表时，MySQL不仅要保存数据，还要保存一下索引...
Explain是什么？能干嘛？怎么玩？
待到春花烂漫时
12-15 2640
本教程中所使用的数据库的建表语句都在“MySQL高阶教程索引”这篇文章中，点击链接直达：索引&建表语句 摘要：本文主要介绍MySQL自带的性能分析工具Explain Explain是什么？能干嘛？怎么玩？ explain的使用： #在查询语句前面加上一个explain即可，如： explain select * from department; 包含字段： ...
hive中小表join大表和大表join小表
最新发布
10-12
<think>嗯，用户想了解Hive中小表join大表和大表join小表的区别、原理和应用场景。从用户的提问来看，ta应该有一定的Hive基础，但对底层优化机制需要更系统的梳理。用户引用的资料涉及MapJoin、参数配置、分区分桶等概念，说明ta关注的是性能优化层面的实现细节。 用户可能正在处理实际ETL任务中的数据倾斜问题，或者试图理解团队中现有的Hive调优策略。ta特意区分了"小表join大表"和"大表join小表"两种场景，说明遇到过因表顺序导致的性能差异。有趣的是，引用材料里提到Hive 0.7之后会自动转换MapJoin，但用户仍区分这两种写法，或许ta的集群存在版本差异或参数被手动关闭过。 需要重点解释的是：虽然SQL语法中表顺序不影响逻辑结果，但在Hive物理执行时，明确小表在前能直接触发MapJoin。引用[1]的MapJoin架构图和参数hive.mapjoin.smalltable.filesize是核心，要强调25MB默认值这个具体阈值。引用[2]的多表join补充说明也很关键，特别是hive.auto.convert.join.noconditionaltask.size这个三级参数容易被忽略。 对于原理部分，准备用分布式计算的视角解释：Common Join在Reduce阶段做连接时，所有数据都要经过Shuffle，而MapJoin能把小表全集广播到每个Mapper内存直接匹配。引用[4]的left semi join示例可以衍生说明——这种特殊连接其实也是种MapJoin优化，因为它只需判断存在性而不传输右表数据。 用户没问但可能需要的隐藏知识是：当"小表"略超25MB时，可以尝试调大参数或启用hive.auto.convert.join.use.nonstaged（引用[2]末尾），该参数允许直接使用HDFS文件而非内存暂存。不过要提醒风险，过大的"小表"可能撑爆容器内存。 最后的场景建议要具体，比如维度表关联事实表用MapJoin，万亿级日志表互连则用分桶Join。突然想到引用[3]的分区分桶内容虽然没直接关联，但可以提一句：被分桶的大表即使作为主表，也可能触发Sort Merge Bucket Join来避免Shuffle。 </think>在Hive中，**小表 JOIN 大表** 和 **大表 JOIN 小表** 的核心区别在于执行策略和性能优化，尤其在数据倾斜场景下表现显著。以下是详细解析： --- ### **一、核心区别与原理** #### **1. 小表 JOIN 大表（优先触发 Map Join）** - **原理**： 当小表（默认 ≤ 25MB）与大表关联时，Hive 自动通过参数 `hive.auto.convert.join=true` 启用 **Map Join**。 - **执行流程**： 1. 将小表全量加载到每个 Mapper 任务的内存中（通过 Distributed Cache）。 2. 大表数据在 Map 阶段直接与小表内存数据进行关联，**跳过 Shuffle 和 Reduce 阶段**。 - **配置参数**： - `hive.mapjoin.smalltable.filesize`：定义小表阈值（默认 25MB）[^1]。 - `hive.auto.convert.join`：是否自动转换 Map Join（默认 true）[^1]。 - **优势**： - 避免 Shuffle 产生的网络和磁盘 I/O 开销。 - 彻底解决数据倾斜问题（因无 Reduce 阶段）。 #### **2. 大表 JOIN 小表（需手动优化）** - **原理**： 若将大表写在 JOIN 左侧（`大表 LEFT JOIN 小表`），Hive 可能误判为大表互连，**退化为 Common Join**（需 Shuffle + Reduce）。 - **风险**： - 大表数据分发到 Reduce 时易引发数据倾斜（如关联键分布不均）。 - Shuffle 阶段成为性能瓶颈。 - **强制优化**： - **显式指定 Map Join**： ```sql SELECT /*+ MAPJOIN(small_table) */ large_table.col1, small_table.col2 FROM large_table JOIN small_table ON large_table.key = small_table.key; ``` - **调参扩容**： 若小表略超 25MB，可临时调大 `hive.mapjoin.smalltable.filesize`。 #### **3. 多表 JOIN 的优化策略** 当多表关联且均为小表时（如总大小 < 10MB），Hive 会合并为单个 Map Join： - `hive.auto.convert.join.noconditionaltask.size`：控制多表合并的阈值（默认 10MB）[^2]。 --- ### **二、应用场景对比** | **场景** | **推荐策略** | **原因** | |-------------------------|-----------------------|--------------------------------------------------------------------------| | **事实表 JOIN 维度表** | 小表（维度表）放右侧 | 维度表通常较小，自动触发 Map Join | | **大表互连** | 避免直接 JOIN | 优先考虑分桶 Join 或 预处理过滤数据 | | **存在数据倾斜** | 强制 Map Join 或 SMB Join | 规避 Reduce 阶段的数据倾斜风险 | | **高选择性过滤** | 先过滤再 JOIN | 减少参与 JOIN 的数据量（如 `WHERE` 提前） | --- ### **三、高级优化技巧** 1. **分桶（Bucketing）优化大表互连** - 对两张大表按关联键分桶（相同桶数），启用 **Sort Merge Bucket Join (SMB Join)**： ```sql SET hive.auto.convert.sortmerge.join=true; SET hive.optimize.bucketmapjoin=true; ``` **原理**：相同桶号的数据直接关联，大幅减少 Shuffle 数据量[^3]。 2. **处理超大“小表”** - 若小表略超 25MB，启用 `hive.auto.convert.join.use.nonstaged` 直接使用 HDFS 文件（避免内存暂存）[^2]。 3. **半连接（LEFT SEMI JOIN）替代 IN** - 仅需判断右表存在性时（无需右表字段），使用 `LEFT SEMI JOIN` 比 `IN + JOIN` 更高效： ```sql -- 等效：SELECT * FROM A WHERE A.key IN (SELECT key FROM B) SELECT * FROM A LEFT SEMI JOIN B ON A.key = B.key; -- 结果中不包含 B 表的字段[^4] ``` --- ### **四、总结：最佳实践** - ✅ **小表永远放 JOIN 右侧**：确保触发 Map Join。 - ✅ **大表互连时分桶**：启用 SMB Join 优化性能。 - ✅ **主动监控参数**：调整 `hive.mapjoin.smalltable.filesize` 适应实际数据分布。 - ❌ **避免大表驱动小表**：防止 Common Join 导致性能退化。 > 通过合理利用 Map Join 与分桶策略，可显著提升 Hive 在大小表关联场景下的执行效率，尤其在海量数据环境下效果显著[^1][^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

请保持优秀。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值