一篇文章彻底搞懂MySql之Innodb引擎BufferPool缓存机制(SQL执行的全流程)

本文详细解析了MySQL中InnoDB存储引擎的SQL执行流程,包括数据更新过程中的磁盘文件读取、缓存更新、日志记录及事务提交机制等关键步骤。


前言


一、SQL执行流程图

在这里插入图片描述

上图案例以客户端执行一条sql进行

update table set name ='zhuge666' where id =1
id为1的未修改前的数据为zhuge

在通过了mysqlserver层的连接器、查询缓存、分析器、优化器、之后,到达执行器开始,这里主要说明的是以Innodb执行引擎执行流程顺序;


二、个人理解的Innodb执行引擎执行顺序

1、去磁盘文件查找id为1的整页数据,加载到Buffer Pool缓存池中;

注意可能拿一页,也可能拿多页
mysql底层是按页为单位的,他不是一条条记录去拿的;
通过索引定位到磁盘里这条数据,把整页数据加载到缓存里;

2、然后写入更新数据的旧值(这里指name=zhuge的数据),写入到undo日志;

undo日志也就是回滚日志,主要用于事务失败时,就可以用undo的日志数据回滚Buffer Pool缓存池的数据
undo日志是Innodb独有的

3、然后更新内存数据,也就是把缓存池中的数据为name=zhuge666;

4、写入redo日志,也是先写入到一个缓冲池中;

这里是写redo的缓冲区里,通过缓存机制,底层批量去做写到redo日志里;
redo日志是innodb特有的

5、mysql准备提交事务(客户端发起了commit命令)、redo日志写入磁盘(name=zhuge666);

6、准备提交事务,binlog日志写入磁盘;

binlog日志属于server层,所以不管是什么执行引擎都有一套实现

7、binlog日志写入磁盘成功后,把commit标记到redo磁盘日志文件,然后提交事务完成;

这里写入的commit该标记,是为了保证事务提交后redo与binlog数据一致
做到这一步,对于方法而言,已经事务提交成功了,java端已经认为成功了

8、Buffer Pool缓存池数据,随机写入磁盘、以Page为单位写入。(这一步骤完成后,磁盘文件的name=zhuge666),到此一个完整的流程就结束了;

数据库他会有一个io线程,不定期的把缓存池中的页数据,统一刷到磁盘里;

三、为什么MYSQL要设计这么复杂的读写机制?

在看完上面全流程后,一定会有一个疑问,为什么要设计的这么复杂?直接更新到磁盘不行吗?
个人理解原因主要是考虑到性能问题,内存操作肯定比磁盘操作快的多

原因
因为如果来一个请求就直接对磁盘文件进行随机读写,然后更新磁盘文件里的数据性能可能相当差
因为磁盘随机读写的性能是非常差的,所以直接更新磁盘文件是不能让数据库抗住很高并发的。
Mysql这套机制看起来复杂,但它可以保证每个更新请求都是更新内存BufferPool,然后顺序写日志文件,同时还能保证各种异常情况下的数据一致性。
更新内存的性能是极高的,然后顺序写磁盘上的日志文件的性能也是非常高的,要远高于随机读写磁盘文件
正是通过这套机制,才能让我们的MySQL数据库在较高配置的机器上每秒可以抗下几干的读写请求。


3.1、为什么磁盘文件就是随机读写?

可能会进行更新、删除等操作,可能不在同一个数据页

3.2、redo日志为什么是有顺序的?

因为redo是按顺序写,不会删除;
磁盘的顺序IO和内存操作性能相媲美,随机读写,相当低;
写redo日志是顺序io,写磁盘是随机io;

3.3、为什么要有redo日志?

其实也是为了防止特殊的异常情况:
如事务提交成功,但是数据库宕机了,这时候还可以用redo日志来恢复缓存区数据。

3.4、为什么要写binlog日志?

万一数据库挂了(宕机了),磁盘里还是老数据,还未更新。
等数据去重启的时候,他会用这个redo日志恢复buffer pool里面的数据,最终执行第8步)

其次binlog可以恢复误删的数据(生产环境尤其重要,一般都会开启)。

3.5、为什么要写undo日志?

一个事务开始,进行增删改的时候,会把原数据写到undo日志,方便在事务失败的时候,进行数据回滚(这里主要是回滚BufferPool缓存池的数据)。

<think>我们正在讨论MySQL InnoDB Buffer Pool的淘汰机制。根据引用[2]和引用[3],我们知道Buffer Pool使用了一种基于LRU(最近最少使用)算法的淘汰机制,但进行了优化,以避免全表扫描等操作导致的热数据被淘汰的问题。具体来说,InnoDB将LRU链表分为两个部分:新生代(new sublist)和老生代(old sublist)。默认情况下,新生代占5/8,老生代占3/8。 当新页面读入Buffer Pool时,它首先被插入到老生代的头部(即整个LRU链表的5/8位置,也就是老生代的头部)。这样,全表扫描等操作一次性加载的大量数据会首先进入老生代,而不会直接进入新生代,从而避免它们立即淘汰新生代中的热点数据。 当页面被访问时,如果该页面已经在老生代中,并且在其被加载后存活了一段时间(通过参数`innodb_old_blocks_time`设置,默认1000毫秒),那么再次访问该页面时,它会被移动到新生代的头部。如果在设定的时间内被再次访问,则不会移动,因为可能只是临时访问(如全表扫描)。 淘汰过程发生在当Buffer Pool需要空间来加载新页面时。InnoDB会从LRU链表的尾部(即老生代的尾部)开始淘汰页面。如果老生代的页面被修改过(成为脏页),则需要先将其刷新到磁盘(由后台线程完成)才能被淘汰。 此外,Buffer Pool还通过其他链表管理,如free链表(记录空闲缓存页)、flush链表(记录脏页)等,但淘汰机制主要基于改进的LRU链表。 现在,我们根据这些信息来回答用户的问题。</think>### MySQL InnoDB Buffer Pool 淘汰机制工作原理 MySQL InnoDB Buffer Pool 的淘汰机制采用**改进型LRU算法**(Least Recently Used,最近最少使用),通过多层链表结构和冷热数据分离策略优化传统LRU算法,避免全表扫描等操作污染热数据。具体工作原理如下: #### 一、核心数据结构 1. **LRU链表**(核心淘汰控制) - 分为两个子链表: - **新生代(New Sublist)**:存放热点数据,占5/8空间 - **老生代(Old Sublist)**:存放新加载或低频数据,占3/8空间 - 链表头部为最近访问数据,尾部为待淘汰数据 2. **Free链表** - 管理空闲缓存页,当需要加载新页时从此链表获取空间 3. **Flush链表** - 记录被修改过的脏页(需刷盘) #### 二、淘汰流程 1. **新数据插入** - 新页首次加载时插入老生代头部(非LRU头部) ```mermaid graph LR A[磁盘数据页] --> B{Buffer Pool空间} B -->|有空闲页| C[从Free链表取页] B -->|无空闲页| D[触发淘汰] D --> E[淘汰老生代尾部页] E --> F[新页插入老生代头部] ``` 2. **数据访问规则** - 访问老生代数据时: - 若数据在内存中停留时间 < `innodb_old_blocks_time`(默认1000ms),保持原位 - 若停留时间 ≥ 该阈值,则移至新生代头部 - 访问新生代数据时直接移至新生代头部 3. **淘汰触发条件** - 当Free链表无空闲页时 - 淘汰顺序: 1. 从老生代尾部选取未修改的干净页直接淘汰 2. 若老生代无干净页,则淘汰新生代尾部页 3. 若需淘汰脏页,需先加入Flush链表由后台线程刷盘 #### 三、关键优化设计 1. **冷热隔离** - 全表扫描加载的数据仅存在老生代,避免冲击热数据 - 通过`innodb_old_blocks_pct`调整老生代比例(默认37%) 2. **时间窗口保护** - `innodb_old_blocks_time`参数建立时间屏障,防止短期访问污染新生代 3. **批量淘汰** - 每次淘汰触发时清理多个页面(避免频繁淘汰影响性能) #### 四、参数配置示例 ```sql -- 查看关键参数 SHOW VARIABLES LIKE 'innodb_old_blocks_pct'; -- 老生代占比 SHOW VARIABLES LIKE 'innodb_old_blocks_time'; -- 冷数据保护时间(ms) ``` > **设计意义**:此机制有效平衡了高频访问数据的留存与突发数据加载的影响,在TPCC测试中可使查询性能提升10倍以上[^2][^3]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

未闻花名丶丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值