innodb存储引擎之:innodb buffer pool

真正看懂 InnoDB = WAL + Undo + Buffer Pool + B+Tree 数据页 InnoDB 把磁盘页加载到内存页,作为高速存储区域包括:数据页(B+Tree)索引页(B+Tree)Undo 页锁信息日志作用优化目标Redo重放、抗崩溃快速顺序写,延迟刷盘Undo回滚 + MVCC快速读旧版本,短事务InnoDB = 持久性 + 并发控制 + 内存数据库Redo Log → WAL → 抗崩溃Undo Log → MVCC → 快照读 + 回滚Buffer Pool → 内存引擎 → 高速读写 + 延迟刷盘只要你记住InnoDB 不是“写磁盘” 阅读详情

目录

缓冲页

缓冲页的控制块

缓冲页的哈希表

free 链表

flush 链表

LRU 链表

从 innodb buffer pool 看 select 语句的执行过程

多个 innodb buffer pool 实例

innodb_buffer_pool_chunk_size

查看 innodb buffer pool 状态信息

小小的扩展点

问答:


缓冲页

innodb buffer pool 将一块连续的内存划分成了,大小固定的缓冲页。一个缓冲页保存这一个数据页上的所有数据。默认大小为 16KB

innodb_buffer_pool_size 参数控制 innodb buffer pool 的大小,默认值 128MB,可以设置的最小值是 5MB

缓冲页的控制块

一个缓冲页对应一个控制块,每个控制块大小约为 808 字节。 innodb buffer pool 并不包含 控制块占用的内存空间,也就是说 innodb 的

缓冲页的哈希表

使用哈希表保存一个数据页是否在 buffer pool 中,在哈希表中就表示数据页已在 buffer pool 中。哈希表key为 “表空间号 + 数据页号”

free 链表

innodb buffer pool 中的空闲的缓冲页的控制块都在该链表中

flush 链表

innodb buffer pool 中脏页的缓冲页的控制块都在该链表中

LRU 链表

  • innodb 中所有的缓冲页的控制块,组成了 LRU 链表
  • innodb 将 LRU 链表划分为,young 区域 和 old 区域。young 区域 和 old 区域 的比例是通过 变量 innodb_old_blocks_pct 进行控制,默认值是 37。也就是 young 区域的内存为 0.63*innodb_buffer_pool_size,old 区域的内存为 0.37*innodb_buffer_pool_size
  • innodb 有对 链表的 young 区域 进行了划分,如果访问的缓冲页在 young 区域 的后 1/4 部分,则将缓冲页的控制块移动到链表的头部
  • innodb_old_blocks_time 默认值是 1000,单位 ms,用户控制缓冲页从 old 区域 移动到 young 区域的时间阈值

从 innodb buffer pool 看 select 语句的执行过程

多个 innodb buffer pool 实例

innodb_buffer_pool_instances 参数控制 buffer pool 实例的大小

每个实例占用空间为 innodb_buffer_size / innodb_buffer_pool_instances

为啥要搞多个实例,可以理解为集群中的多个服务节点,提高系统的处理能力

innodb_buffer_pool_chunk_size

一个 buffer pool 实例是有多个 chunk 组成的,一个 chunk 就代表一片连续的内存空间

innodb_buffer_pool_chunk_size 参数控制 chunk 的大小,默认值是 128MB

查看 innodb buffer pool 状态信息

show engine innodb status

小小的扩展点

冷热数据划分,JVM中的代划分(年轻代,年老代),都是为了提高资源(内存)的利用率

问答:

问:为什么需要对LRU链表划分为 young 区域 和 old 区域

答:假设没有区域划分,业务同学对一个大表进行全表扫描,而这个大表的访问次数是很低频的,那么就会导致 innodb buffer pool 的缓存命中率下降,导致其它的 sql 变慢(访问的数据页不在内存中,会产生磁盘I/O)

问:LRU 链表中为什么对 young 区域 3/4,1/4 的划分

答:降低 LRU 链表节点移动的次数

SAP CO实战:如何用KKA2/CJ88结果分析码搞定项目收入成本匹配(附真实案例) 本文深入探讨了SAP CO模块中KKA2和CJ88结果分析码在项目收入成本匹配中的高阶应用。通过真实案例解析,详细介绍了这两种分析码在分阶段收入确认和终验法项目中的配置技巧与实战经验,帮助财务人员高效解决复杂业务场景下的财务数据处理难题。 阅读详情

相关推荐

STM32F103RC学习(一)

STM32F103RC学习(一)

Cat_South_North的博客 6058

mysql5.7 性能优化配置 innodb_buffer_pool_size

mysql5.7 性能优化配置 innodb_buffer_pool_size

1万+

【AI工业】AI优化工业互联网边缘层架构方案

工业互联网边缘层是指在工业互联网架构中介于设备层和云层之间的一个重要组成部分。它承担着数据处理、存储和分析的关键角色,旨在实现更高效的数据管理和实时响应。边缘层使得设备能够通过最小化延迟、减少带宽占用以及提高数据处理能力而制造出更智能的制造环境。数据处理和分析:边缘层能够在设备产生数据的近端进行数据处理。这意味着可以在数据生成的地点就对数据进行预处理、过滤和分析,进而减少数据传输到云端的数量和频率,从而降低带宽需求和降低延迟。通过边缘计算,可以快速响应设备故障、产品质量问题等紧急情况。实时监控与控制。

weixin_47766618的博客 1297

MySQL优化(一)innodb_buffer_pool 引擎缓存的配置

MySQL优化(一)innodb_buffer_pool 引擎缓存 我们都知道,内存读写和磁盘读写的速度不在一个数量级,在数据库中,数据都是最终落到磁盘上的,想要达成快速的读写,必然要依靠缓存技术。 Innodb的这个缓存区就是Innodb_buffer_pool,当读取数据时,就会先从缓存中查看是否数据的页(page)存在,不存在的话才去磁盘上检索,查到后缓存到这个pool里。同理,插入、修改、删除也是先操作缓存里数据,之后再以一定频率更新到磁盘上。控制刷盘的机制,叫做Checkpoint。 mysql安

无间行者 3812

开源AI数字人DUIX:从零构建你的智能交互助手

本文详细介绍了如何利用开源AI数字人DUIX从零构建智能交互助手。文章阐述了DUIX作为开源项目的核心优势,包括低成本启动、低网络依赖和高度可定制性,并提供了从开发环境搭建、核心模块(AI模型、语音、形象)配置到个性化业务逻辑开发与最终部署的完整实践指南,帮助开发者快速掌握构建专属AI数字人的全流程。

weixin_29051811的博客 506

Python爬虫实战:抓取CVE安全漏洞数据库

在网络安全领域,CVE(Common Vulnerabilities and Exposures)是一个非常重要的安全漏洞字典,它为每个安全漏洞提供了唯一的标识符。安全研究人员、开发人员和系统管理员都需要及时了解最新的CVE信息,以便采取相应的防护措施。本文将详细介绍如何使用Python爬虫技术从专业CVE网站抓取漏洞数据,并构建一个完整的CVE信息采集系统。本文详细介绍了如何使用Python爬虫技术从专业CVE网站抓取安全漏洞数据。多种爬虫技术反爬虫策略:User-Agent轮换、代理IP、请求延迟。

2201_76125261的博客 370

InnoDB引擎底层解析(二)之InnoDB的Buffer Pool(三)

本文介绍了MySQL InnoDB存储引擎的Buffer Pool机制。Buffer Pool是InnoDB向操作系统申请的一块连续内存空间,用于缓存磁盘数据页。为了提高并发性能,可以将大Buffer Pool拆分为多个独立实例,通过innodb_buffer_pool_instances参数配置。5.7.5版本后支持动态调整Buffer Pool大小,采用chunk(默认128MB)为单位分配内存。同时也说明如何查看Buffer Pool状态信息,包括内存使用情况、LRU链表状态、I/O统计等指标。

weixin_47088026的博客 994

上位机图像处理和嵌入式模块部署(qmacvisual获取边界点)

【声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 在图像处理中,解决了分割的问题之后,下面就是属性信息的提取。在这其中,有一种属性是非常重要的 ,那就是外界轮廓的边界点获取。这个边界点,可以用来计算长度,也可以用来进行直线、圆的拟合,具体的用途取决于现场的实际使用场景。目前qmacvisual支持对边界点的提取,相关控件可以直接用来提取边界点。

嵌入式-老费,一个分享专业嵌入式知识的blog 885

MySQL优化:innodb_buffer_pool_instances与innodb_buffer_pool_size参数分析

首先了解三个参数三个参数: innodb_buffer_pool_size(缓冲池大小) innodb_buffer_pool_chunk_size(定义InnoDB缓冲池大小调整操作的块大小) innodb_buffer_pool_instances(InnoDB缓冲池划分为的区域数) 关于两个参数的关系,在MySQL8.0的官方文档中: Buffer pool size must ...

SunZLong的博客 1万+

11、基于拓扑质心和树编辑距离的RNA二级结构比较方法

本文介绍了一种基于拓扑质心和树编辑距离的RNA二级结构比较方法,特别适用于处理具有假结结构的RNA。通过PEELING算法识别拓扑质心并将其转换为树结构,结合树编辑距离进行高效比较,并提供工具planeGraph2tree实现该方法。博文详细描述了方法原理、操作流程以及应用示例,展示了其在功能性非编码RNA分析中的实用性。

resnet7explorer的博客 115

C#串口通信从入门到精通(11)——串口接收的数据存储到本地文件(txt、csv)

本文详细介绍如何将串口通信将数据进行本次存储,主要介绍常用的csv、txt格式文件,由多年实战经验总结,绝对干货!

qq_34059233的博客 7240

InnoDB的Buffer

1、如果该页不在 Buffer Pool 中,在把该页从磁盘加载到 Buffer Pool 中的缓存页时,就把该缓存页对应的 控制块 作为节点塞到链表的头部。2、如果该页已经缓存在 Buffer Pool 中,则直接把该页对应的 控制块 移动到 LRU链表 的头部。只要用到某个缓存页,就把该缓存页调整到LRU链表的头部,这样 LRU链表 尾部就是最近最少 使用的缓存页,所以当 Buffer Pool 中的空闲缓存页使用完时,淘汰链表尾部缓存页。

qq_16803227的博客 368

基于Dijkstra算法的共享单车调度优化系统设计与实现

根据最新统计数据,全球共享单车市场规模已超过300亿美元,中国作为最大的共享单车市场,日订单量超过5000万次。Dijkstra算法由荷兰计算机科学家Edsger W. Dijkstra于1956年提出,用于解决带权有向图中的单源最短路径问题。本文详细介绍了基于Dijkstra算法的共享单车调度优化系统的设计与实现。本文将详细介绍基于Dijkstra算法的共享单车调度优化系统的设计与实现,采用Java 17、Spring Boot 3.x等最新技术栈。

2201_76125393的博客 622

MySQL InnoDB 存储引擎架构:Buffer Pool 与后台线程

基于源码深度解析,MySQL InnoDB 存储引擎架构:Buffer Pool 与后台线程

m0_57877510的博客 562

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

MySQL InnoDB存储引擎架构:从Buffer Pool到Redo Log的一致性保障

Buffer Pool的Young/Old分区优雅地解决了缓存污染问题,是全表扫描不会击垮热数据的基石Redo Log的WAL + LSN构成了crash-safe的数学保障——任何已提交的事务都可以从Redo Log中完整恢复通过延迟随机读降低了辅助索引的写入成本填补了"页级原子写入"和"磁盘扇区原子写入"之间的语义鸿沟理解这些组件之间的协作关系,比记忆参数值更重要。

dicky_zhang3的博客 2886

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

MySQL InnoDB存储引擎缓冲池(InnoDB Buffer Pool)相关参数配置:innodb_buffer_pool_size和innodb_buffer_pool_instances配置

或依据具体需求和测试结果调整,保持在70%-80%的总内存范围内。如果你的服务器是多核且缓冲池大小超过了1GB,这个值可以根据实际的核心数量和性能测试进一步微调。请记得,这些只是通用的指导原则,最佳实践总是依赖于具体的工作负载和环境。在做出调整后,务必进行性能测试,以确保新的配置确实提高了数据库的性能。

学亮编程手记 1342

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

MySQL - 存储引擎优化:InnoDB 参数调优实战(innodb_buffer_pool_size 等)

MySQL InnoDB 核心参数调优指南 摘要 本文深入探讨MySQL InnoDB存储引擎的关键性能优化参数,帮助开发者和DBA提升数据库性能。主要内容包括: 内存缓存优化:重点解析innodb_buffer_pool_size的设置原则,建议专用数据库服务器设为物理内存的50%-75% 日志系统调优:讲解innodb_log_file_size和innodb_log_files_in_group的配置策略,推荐总日志大小为Buffer Pool的25%-100% I/O性能提升:分析不同innodb_

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

InnoDB存储引擎:从一条查询串起Buffer Pool、页、区与表空间

保留原四张结构图,限定版本和16KiB示例,纠正区大小、初始化页数、物理连续性与缓存命中的过度概括。

doting__的博客 372

MySQL专题(三):细节梳理InnoDB存储引擎中的Buffer pool缓冲区核心组件 数据库是如何初始化buffer pool 三大链表 如何通过多个buffer pool优化数据块并发性能

前言: 这篇文章会比较长,专门针对InnoDB核心组件buffer pool展开分析《BUFFER POOL》 一:细节梳理InnoDB存储引擎中的Buffer pool缓冲区核心组件 1.如何设置buffer pool内存大小 2.数据页:MySQL中抽象出来的数据单位 3.磁盘上的数据页是如何与buffer pool中的缓存页对应的 4.缓存页对应的描述信息是什么? 二:数据库启动的时候,是如何初始化buffer pool 三:buffer pool中的三大链表 1.free链表 2.flush链

weixin_46950473的博客 592

【mysql参数调优】:innodb_buffer_pool_size和innodb_buffer_pool_instances (三)

InnoDB缓冲池参数对数据库性能至关重要。innodb_buffer_pool_size决定缓存总量,建议设为物理内存的50%-70%(专用服务器),直接影响读写性能;innodb_buffer_pool_instances控制缓冲池分区数量,建议每个实例≥1GB且数量4-8个(与CPU核心数匹配),缓解高并发锁竞争。两者需协同配置:总大小提升缓存命中率,实例数优化并发效率。监控缓存命中率(应>99%)和锁等待情况,针对读多或写多场景动态调整,实现性能最优。

ray的博客 1336

MySQL专题(二):一条update语句在InnoDB存储引擎执行的完整链路简述 InnoDB存储引擎 Buffer pool缓冲区 undo log redo log bin log 参数配置

前言: 【本期主要将SQL执行器调用存储引擎接口后,大体的执行流程,以及各个日志文件的作用】 1.InnoDB存储引擎 2.Buffer pool缓冲区 3.undo log日志文件 4.redo log日志文件以及redo log buffer缓冲区与redo log buffer缓冲区刷入disk的配置机制 5.binlog日志文件以及sync_binlog参数的设置 6.mysql后台线程将Buffer pool修改后的数据刷入磁盘 1.InnoDB存储引擎 这个相信每个人都知道这个存储引擎,引

weixin_46950473的博客 425

总结 mysql 的所有 buffer,一网打尽就这篇了!

好了,关于 innodb buffer 们介绍完了,我们来总结一下:buffer pool,缓存数据页,避免频繁地磁盘交互,内部利用定制的 LRU 来淘汰缓存页,LRU分老年代和新生代。change buffer,用于二级非唯一索引的新增、修改或删除操作,当 buffer pool 没有数据的时候,不需要加载数据页到缓冲池中,而是通过 change buffer 来记录此变更,减少随机 I/O。log buffer,用于 redo log 的缓冲,减少 I/O,批处理减少系统调用。

2401_83384536的博客 1134

innodb命中率评估

innodb内存评估原则 通常InnoDB存储引擎的缓冲池的命中率不应该小于99%。 缓冲池命中率 = (Innodb_buffer_pool_read_requests)/(Innodb_buffer_pool_read_requests + Innodb_buffer_pool_read_ahead + Innodb_buffer_pool_reads) ...

秋天的博客 669

Mysql InnoDB存储引擎中缓冲池Buffer Pool、Redo Log、Bin Log、Undo Log、Channge Buffer

文章目录Buffer Pool概念几个问题redo logBin logUndo logChange Buffer Buffer Pool 概念 上面我们了解了InnoDB存储引擎页的概念,但我们并不知道页在磁盘中是如何存储,在内存中又是如何存储? Buffer Pool是内存中的一块区域,当我们想查询一条数据,首先会在磁盘中找到存放这条数据的某一页。 然后将这一页的数据复制到Buffer Pool中 如果接下来另一个客户端也是查询这条数据的话,那么就会直接在Buffer Pool中获取。 如果是修改语

qq_44027353的博客 1195

mysql buffer pool解释_MySQL源码学习(二) Buffer Pool

MySQL源码学习(二) Buffer PoolBuffer Pool是innodb的核心组件之一,所有数据的读取,都会先放到Buffer Pool中,再读取出来,而不是直接读取datafile文件。那么对于类似笔者这样的新手来说,从哪里开始阅读buffer pool的代码呢?在源代码中,几乎搜不到”buffer pool”这样的关键字?1.从buf_pool_t开始在mysql代码库的src/s...

weixin_36455562的博客 511

MySQL InnoDB存储引擎架构详解:从Buffer Pool到B+树与锁机制

数据库性能调优往往要从理解存储引擎开始。MySQL作为主流关系型数据库,其默认引擎InnoDB的设计直接决定了事务、索引与并发控制的核心表现。从Buffer Pool的内存页管理到B+树索引结构,再到Redo Log与Undo Log的持久化机制,每个环节都深刻影响查询效率与数据安全。理解MVCC如何通过版本链支撑高并发读写,以及间隙锁如何防范幻读,是排查慢查询与死锁的关键。在生产环境中,合理配置缓冲池大小、优化索引顺序、控制事务粒度,都是提升系统稳定性的实用手段。本文聚焦InnoDB的架构与原理,结合实际

weixin_30074763的博客 189
上一篇: innodb存储引擎之:表空间
下一篇: innodb存储引擎之:索引的数据结构(B+TREE)
三易的博客
博客等级 码龄15年 42粉丝 89原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值