面试官:为何MySQL索引要使用B+树而不是其它树形结构?比如B树?

探讨InnoDB存储引擎中B+树的数据组织与查询原理,解析B+树高度与数据存储容量的关系,揭示千万级数据高效存储的秘密。

一个问题?

InnoDB一棵B+树可以存放多少行数据?这个问题的简单回答是:约2千万

为什么是这么多呢?

因为这是可以算出来的,要搞清楚这个问题,我们先从InnoDB索引数据结构、数据组织方式说起。

我们都知道计算机在存储数据的时候,有最小存储单元,这就好比我们今天进行现金的流通最小单位是一毛。

在计算机中磁盘存储数据最小单元是扇区,一个扇区的大小是512字节,而文件系统(例如XFS/EXT4)他的最小单元是块,一个块的大小是4k

而对于我们的InnoDB存储引擎也有自己的最小储存单元——页(Page),一个页的大小是16K。

下面几张图可以帮你理解最小存储单元:

文件系统中一个文件大小只有1个字节,但不得不占磁盘上4KB的空间。

面试官:为何MySQL索引要使用B+树而不是其它树形结构?比如B树?

innodb的所有数据文件(后缀为ibd的文件),他的大小始终都是16384(16k)的整数倍。

面试官:为何MySQL索引要使用B+树而不是其它树形结构?比如B树?

磁盘扇区、文件系统、InnoDB存储引擎都有各自的最小存储单元。

面试官:为何MySQL索引要使用B+树而不是其它树形结构?比如B树?

在MySQL中我们的InnoDB页的大小默认是16k,当然也可以通过参数设置:

面试官:为何MySQL索引要使用B+树而不是其它树形结构?比如B树?

数据表中的数据都是存储在页中的,所以一个页中能存储多少行数据呢?假设一行数据的大小是1k,那么一个页可以存放16行这样的数据。

如果数据库只按这样的方式存储,那么如何查找数据就成为一个问题

因为我们不知道要查找的数据存在哪个页中,也不可能把所有的页遍历一遍,那样太慢了。

所以人们想了一个办法,用B+树的方式组织这些数据。如图所示:

面试官:为何MySQL索引要使用B+树而不是其它树形结构?比如B树?

我们先将数据记录按主键进行排序,分别存放在不同的页中(为了便于理解我们这里一个页中只存放3条记录,实际情况可以存放很多)

除了存放数据的页以外,还有存放键值+指针的页,如图中page number=3的页,该页存放键值和指向数据页的指针,这样的页由N个键值+指针组成。

当然它也是排好序的。这样的数据组织形式,我们称为索引组织表。

现在来看下,要查找一条数据,怎么查?

如:select * from user where id=5;

这里id是主键,我们通过这棵B+树来查找,首先找到根页,你怎么知道user表的根页在哪呢?

其实每张表的根页位置在表空间文件中是固定的,即page number=3的页(这点我们下文还会进一步证明)

找到根页后通过二分查找法,定位到id=5的数据应该在指针P5指向的页中,那么进一步去page number=5的页中查找,同样通过二分查询法即可找到id=5的记录:

5 zhao2 27

现在我们清楚了InnoDB中主键索引B+树是如何组织数据、查询数据的,我们总结一下:

1、InnoDB存储引擎的最小存储单元是页,页可以用于存放数据也可以用于存放键值+指针,在B+树中叶子节点存放数据,非叶子节点存放键值+指针。

2、索引组织表通过非叶子节点的二分查找法以及指针确定数据在哪个页中,进而在去数据页中查找到需要的数据;

那么回到我们开始的问题,通常一棵B+树可以存放多少行数据?

这里我们先假设B+树高为2,即存在一个根节点和若干个叶子节点,那么这棵B+树的存放总记录数为:根节点指针数*单个叶子节点记录行数。

上文我们已经说明单个叶子节点(页)中的记录数=16K/1K=16。(这里假设一行记录的数据大小为1k,实际上现在很多互联网业务数据记录大小通常就是1K左右)。

那么现在我们需要计算出非叶子节点能存放多少指针?

其实这也很好算,我们假设主键ID为bigint类型,长度为8字节,而指针大小在InnoDB源码中设置为6字节,这样一共14字节

我们一个页中能存放多少这样的单元,其实就代表有多少指针,即16384/14=1170。

那么可以算出一棵高度为2的B+树,能存放1170*16=18720条这样的数据记录。

根据同样的原理我们可以算出一个高度为3的B+树可以存放:1170*1170*16=21902400条这样的记录。

所以在InnoDB中B+树高度一般为1-3层,它就能满足千万级的数据存储。

在查找数据时一次页的查找代表一次IO,所以通过主键索引查询通常只需要1-3次IO操作即可查找到数据。

怎么得到InnoDB主键索引B+树的高度?

上面我们通过推断得出B+树的高度通常是1-3,下面我们从另外一个侧面证明这个结论。

在InnoDB的表空间文件中,约定page number为3的代表主键索引的根页,而在根页偏移量为64的地方存放了该B+树的page level。

如果page level为1,树高为2,page level为2,则树高为3。即B+树的高度=page level+1;下面我们将从实际环境中尝试找到这个page level。

在实际操作之前,你可以通过InnoDB元数据表确认主键索引根页的page number为3,你也可以从《InnoDB存储引擎》这本书中得到确认。

面试官:为何MySQL索引要使用B+树而不是其它树形结构?比如B树?

 

面试官:为何MySQL索引要使用B+树而不是其它树形结构?比如B树?

可以看出数据库dbt3下的customer表、lineitem表主键索引根页的page number均为3,而其他的二级索引page number为4。

关于二级索引与主键索引的区别请参考MySQL相关书籍,本文不在此介绍。

下面我们对数据库表空间文件做想相关的解析:

面试官:为何MySQL索引要使用B+树而不是其它树形结构?比如B树?

因为主键索引B+树的根页在整个表空间文件中的第3个页开始,所以可以算出它在文件中的偏移量:16384*3=49152(16384为页大小)。

另外根据《InnoDB存储引擎》中描述在根页的64偏移量位置前2个字节,保存了page level的值

因此我们想要的page level的值在整个文件中的偏移量为:16384*3+64=49152+64=49216,前2个字节中。

接下来我们用hexdump工具,查看表空间文件指定偏移量上的数据:

面试官:为何MySQL索引要使用B+树而不是其它树形结构?比如B树?

linetem表的page level为2,B+树高度为page level+1=3;

region表的page level为0,B+树高度为page level+1=1;

customer表的page level为2,B+树高度为page level+1=3;

这三张表的数据量如下:

面试官:为何MySQL索引要使用B+树而不是其它树形结构?比如B树?

lineitem表的数据行数为600多万,B+树高度为3,customer表数据行数只有15万,B+树高度也为3。可以看出尽管数据量差异较大,这两个表树的高度都是3

换句话说这两个表通过索引查询效率并没有太大差异,因为都只需要做3次IO。那么如果有一张表行数是一千万,那么他的B+树高度依旧是3,查询效率仍然不会相差太大。

region表只有5行数据,当然他的B+树高度为1。

最后回顾一道面试题

有一道MySQL的面试题,为什么MySQL的索引要使用B+树而不是其它树形结构?比如B树?

现在这个问题的复杂版本可以参考本文;

他的简单版本回答是:

因为B树不管叶子节点还是非叶子节点,都会保存数据,这样导致在非叶子节点中能保存的指针数量变少(有些资料也称为扇出)

指针少的情况下要保存大量数据,只能增加树的高度,导致IO操作变多,查询性能变低;

小结

本文从一个问题出发,逐步介绍了InnoDB索引组织表的原理、查询方式,并结合已有知识,回答该问题,结合实践来证明。

当然为了表述简单易懂,文中忽略了一些细枝末节,比如一个页中不可能所有空间都用于存放数据,它还会存放一些少量的其他字段比如page level,index number等等,另外还有页的填充因子也导致一个页不可能全部用于保存数据。

关于二级索引数据存取方式可以参考MySQL相关书籍,他的要点是结合主键索引进行回表查询。

<think>好的,我现在需要回答用户关于填充因子(Fill Factor)的定义和作用的问题。用户已经提供了五个相关的引用内容,我需要仔细阅读并理解这些引用,然后结合用户之前的问题和我的回答来组织答案。 首先,我需要明确填充因子的基本定义。根据引用[3]和[4],填充因子是在创建或重建索引时,指定叶节点页存储记录的空间百分比。默认值是0,也就是100%填满,但中间页可能有预留空间。用户可能对默认值0和实际效果之间的关系有疑问,需要解释清楚。 接下来是填充因子的作用。引用[3]提到,填充因子影响页拆分(Page Split)的频率。当数据插入或更新时,如果页已满,就会发生页拆分,导致物理存储不连续,影响I/O性能。引用[4]进一步说明,一旦发生页拆分,原有的填充因子设置就不再适用,新页的填充比例可能变为50%。因此,填充因子主要是在索引创建或重建时控制初始页的空间预留,以减少后续的页拆分。 然后需要考虑如何选择合适的填充因子值。引用[3]给出了不同读写比例下的建议值:低更改表100%,高更改表50-70%,读写均衡的80-90%。引用[5]提到填充因子过低可能增加读取时的I/O开销,因为需要读取更多页,同时影响缓存效率。这说明填充因子的选择需要在减少页拆分和避免过多I/O之间权衡。 用户可能存在的疑问包括:为什么默认值是0?填充因子如何影响性能?如何根据应用场景调整填充因子?需要结合引用中的例子,比如填充因子100%导致频繁页拆分,或者低填充因子虽然减少拆分但增加读取次数,来解释这些权衡。 此外,用户之前的问题涉及负偏压和PID实验,虽然与当前问题无关,但需要注意回答的结构要清晰,分点说明定义、作用、选择策略等,保持与之前回答的一致性。 需要确保回答中使用正确的中文术语,避免技术术语错误,并引用提供的引用来源,如[^1]、[^3]等,但用户提供的引用中有部分是关于MySQL和SQL Server的,需要指出不同数据库系统的差异,但用户的问题可能更关注通用概念,因此可以综合说明,同时指出具体数据库可能有不同实现。 最后,生成相关问题,帮助用户进一步理解,比如如何确定最佳填充因子、填充因子与索引维护的关系等。</think>### 填充因子的定义及作用分析 --- #### 1. **填充因子的定义** **填充因子(Fill Factor)** 是数据库索引创建或重建时,用于指定**索引叶节点页存储记录的空间百分比**的参数。其核心目的是通过预留空间,减少后续数据修改时引发的页拆分(Page Split)[^3][^4]。 - **默认值**:在 SQL Server 中,默认填充因子为 `0`,表示叶节点页填充 100%(完全填满),但中间页可能保留部分空间[^3]。 - **物理意义**:填充因子为 80% 时,每个索引页初始化时仅占用 80% 的空间,剩余 20% 用于后续插入或更新操作。 --- #### 2. **填充因子的核心作用** ##### **2.1 减少页拆分(Page Split)** 当数据插入或更新导致页空间不足时,数据库会将原页拆分为两个新页,这一过程称为**页拆分**。拆分后新页的填充比例可能降至 50%(与初始填充因子无关),并导致以下问题[^3][^4]: - **物理存储碎片化**:新页的物理位置可能不连续,导致顺序 I/O 退化为随机 I/O,降低查询性能。 - **额外资源消耗**:页拆分需要分配新页、迁移数据,增加 CPU 和磁盘负载。 填充因子通过**预留空间**(如设置 80%),延缓页拆分发生的频率,从而提升写入效率。 ##### **2.2 平衡读写性能** - **高填充因子(如 100%)**: 适合**只读或极少更新的表**,最大化页空间利用率,减少查询时的 I/O 次数(需读取的页更少)[^5]。 - **低填充因子(如 50-70%)**: 适合**频繁更新的表**,预留空间减少页拆分,但需更多页存储相同数据,可能增加读取时的 I/O 开销[^3][^5]。 ##### **2.3 影响缓存效率** 数据库缓存(如 Buffer Pool)以页为单位加载数据。**低填充因子**会导致更多半空页被加载到内存,占用缓存空间,降低整体缓存命中率。 --- #### 3. **填充因子的选择策略** ##### **3.1 根据读写比例调整** | 场景 | 建议填充因子 | 理由 | |--------------------------|--------------|----------------------------------------------------------------------| | 只读或低更新(读:写≥100:1) | 90-100% | 最大化读取性能,避免空间浪费 | | 高写入(写操作频繁) | 50-70% | 预留足够空间减少页拆分 | | 读写均衡(读:写≈1:1) | 80-90% | 折中读写性能 | ##### **3.2 监控与动态调整** - **页密度(Page Density)**:定期检查索引的页密度。若 `Scan Density < 60%`,说明碎片严重,需重建索引并调整填充因子[^1]。 - **实验验证**:通过 A/B 测试不同填充因子对性能的影响。例如,初始填充因子设为 100%,若页拆分频繁,则逐步降低至 80% 并观察效果。 --- #### 4. **填充因子的限制与注意事项** - **仅作用于索引创建/重建时**:填充因子仅在索引初始构建或重建时生效,后续数据修改可能导致页拆分,使预留空间失效[^4]。 - **数据库差异**:不同数据库实现不同(如 SQL Server 默认填充因子为 0,即 100%;MySQL 部分存储引擎支持类似机制),需参考具体文档[^2][^3]。 - **权衡取舍**:过低的填充因子(如 50%)虽减少页拆分,但可能导致查询读取更多页,降低性能[^5]。 --- ### 示例场景 假设一个电商系统的订单表(高频写入): 1. **初始设置**:填充因子 70%,减少插入新订单时的页拆分。 2. **监控发现**:Scan Density 降至 55%,碎片率升高。 3. **调整方案**:重建索引并将填充因子提高至 80%,平衡读写性能。 --- ### 结论 填充因子通过控制索引页的初始空间分配,在减少页拆分与优化读取性能之间实现平衡。其取值需结合数据更新频率、读写比例及实际性能监控动态调整,是数据库索引优化的关键参数之一[^3]。 --- ### 相关问题 1. 如何通过 SQL 语句查看当前索引的填充因子和页密度? 2. 索引重建(Rebuild)与重组(Reorganize)对填充因子的影响有何不同? 3. 在 MySQL 中如何实现类似 SQL Server 的填充因子功能?
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值