为什么MySQL 单表记录行数最大建议值是 2000W

前言

老生常谈的一个面试题,基本都已经问烂了,但是昨天看到一个博主写的文章,感觉写的很好,介绍的很详细。这篇博客是先分析了innodb的默认的索引树的结构,然后再去讨论为什么,我这里只摘取了部分内容,应该是够解释2000w的由来了。如果看完我下面的发现有什么地方有误解的或者解释混淆的,可以去原文看看, 原文地址: mysql最大建议行数2000w行,靠谱吗
注意 这里我们假设mysql存储引擎使用的是Innodb,一般情况下mysql默认的存储引擎也是Innodb。

原因

首先innodb采用B+树作为索引树,只有叶子节点存放表的数据,这个大家都知道, 整张表的结构如下图所示
在这里插入图片描述
上面每个数据页的大小都为16K, 非叶子节点的每条数据都指向新的数据页,而新的数据页有两种可能,

  • 如果是叶子节点,那么里面就是一行行的数据
  • 如果是非叶子节点的话,那么就会继续指向新的页
    假设
    整张表的记录数量是Total
  • 非叶子节点内指向其他页的数量为 x
  • 叶子节点内能容纳的数据行数为 y
  • B+ 数的层数为 z
    如下图中所示
    Total =x^(z-1) *y 也就是说总数会等于 x 的 z-1 次方 与 Y 的乘积
    在这里插入图片描述
    简单举个例子,假如这里非叶子节点的数据页指向其他页的数量是2,
    整个树只有2层 就像上图所示,
    x=2, y=2,z=2
    那么 Total = 2 * 2 = 4
    但是 一个数据页可是有16K呀,怎么可能只存放2条数据呢(非叶子不是数据,是指向下一页的数据)
    影响一张表的记录数量的因素取决于上面三个因素,那么我们现在来看每个因素的取值范围大概是怎么样的。

对于x :
每个数据页的结构,索引也也不例外,都会有 File Header (38 byte)、Page Header (56 Byte)、Infimum + Supermum(26 byte)、File Trailer(8byte), 再加上页目录,大概 1k 左右,我们就当做它就是 1K, 那整个页的大小是 16K, 剩下 15k 用于存数据,在索引页中主要记录的是主键与页号,主键我们假设是 Bigint (8 byte), 而页号也是固定的(4Byte), 那么索引页中的一条数据也就是 12byte; 所以 x=151024/12≈1280 行*
在这里插入图片描述
对于y:
叶子节点和非叶子节点的结构是一样的,同理,能放数据的空间也是 15k(16-1=15);但是叶子节点中存放的是真正的行数据,这个影响的因素就会多很多,比如,字段的类型,字段的数量;每行数据占用空间越大,页中所放的行数量就会越少;这边我们暂时按一条行数据 1k 来算,那一页就能存下 15 条,Y≈15

算到这边了,是不是心里已经有谱了啊
根据上述的公式,Total =x^(z-1) y,已知 x=1280,y=15
假设 B+ 树是两层,那就是 Z =2, Total = (1280 ^1 )15 = 19200
假设 B+ 树是三层,那就是 Z =3, Total = (1280 ^2) *15 = 24576000 (约 2.45kw)
如果是 4 层,除了查询的时候磁盘 IO 次数会增加,而且这个 Total 值会是多少,大概应该是 3 百多亿吧,也不太合理,所以,3 层应该是比较合理的一个值。
我们刚刚在说 Y 的值时候假设的是 1K ,那比如我实际当行的数据占用空间不是 1K , 而是 5K, 那么单个数据页最多只能放下 3 条数据
同样,还是按照 Z=3 的值来计算,那 Total = (1280 ^2) *3 = 4915200 (近 500w)

所以,在保持相同的层级(相似查询性能)的情况下,在行数据大小不同的情况下,其实这个最大建议值也是不同的,而且影响查询性能的还有很多其他因素,比如,数据库版本,服务器配置,sql 的编写等等,MySQL 为了提高性能,会将表的索引装载到内存中。在 InnoDB buffer size 足够的情况下,其能完成全加载进内存,查询不会有问题。但是,当单表数据库到达某个量级的上限时,导致内存无法存储其索引,使得之后的 SQL 查询会产生磁盘 IO,从而导致性能下降,所以增加硬件配置(比如把内存当磁盘使),可能会带来立竿见影的性能提升哈。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值