[转]MySQL innodb buffer pool

最新推荐文章于 2025-09-08 20:55:49 发布
最新推荐文章于 2025-09-08 20:55:49 发布
阅读量100 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 数据库
原文链接：http://www.cnblogs.com/sunss/p/6122075.html

最近在对公司的 MySQL 服务器做性能优化, 一直对 innodb 的内存使用方式不是很清楚, 乘这机会做点总结.

在配置 MySQL 的时候, 一般都会需要设置 innodb_buffer_pool_size, 在将 MySQL 设置在单独的服务器上时, 一般会设置为物理内存的80%.

之前一直疑惑 MySQL 是怎么缓存数据的(不是指query cache), 直觉应该是LRU, 但如果 query 一下从磁盘上读取大量的数据的话(全表扫描或是 mysqldump), 是不是很容易就会把热数据给踢出去?

Buffer Pool 的 LRU 机制

innodb buffer pool 在内存中其实是一个 list, 维护数据的确是用 LRU, 但是做了点优化.

buffer pool 将数据切割成两块, 头部是 young page list, 尾部是 old page list. 两者的空间比例默认是5: 3, 可以通过 show variables like “innodb_old_blocks_pct” 查看, old block的比例即为 37%.

当数据第一次被从磁盘上读取, 要加入 buffer pool 时, 会先放在 old page list 的头部, 此时如果 old page list 满了,则会把它尾部的数据踢出去. 当数据在buffer pool中被再次访问的时候, 如果它在 old page list 中, 则会被转移到 young page list 的头部(如果数据已经在 young page list 中, 则只有它和头结点的距离超过一定长度时才会被转移到头部).

通过这种机制, 可以有效得避免临时的大量数据读取冲刷掉 hot page, 这些一次性的数据如果没有被访问的话,很快会被从old page list 中踢出去.

查看 buffer pool 的使用状况

使用 show engine innodb status, 可以获取 innodb 的运行信息, 查看其中 BUFFER POOL AND MEMORY 一节, 可以看到 innodb buffer的使用情况.

示例:

BUFFER POOL AND MEMORY
----------------------
Total memory allocated 11948523520; in additional pool allocated 0
Dictionary memory allocated 881470
Buffer pool size 712576
Free buffers 7638
Database pages 676994
Old database pages 250018
Modified db pages 22961
Pending reads 4
Pending writes: LRU 0, flush list 0, single page 0
Pages made young 86737875, not young 2068799422
188.89 youngs/s, 5482.68 non-youngs/s
Pages read 390735994, created 1284180, written 17312013
972.19 reads/s, 0.30 creates/s, 36.63 writes/s
Buffer pool hit rate 975 / 1000, young-making rate 4 / 1000 not 141 / 1000
Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s
LRU len: 676994, unzip_LRU len: 0
I/O sum[374688]:cur[1688], unzip sum[0]:cur[0]

几个需要注意的参数:

Total memory allocated: innodb 已分配的总内存数, 单位 bytes

Buffer pool size: buffer pool 大小, 单位是 pages, MySQL 的 page 默认是 16KB, 这里 pool 的总大小就是 10G 多.

Free buffers: 还没使用的 buffer size, 单位也是 pages.

Database pages: 总共已使用的 page 数目.

Old database pages: old page list 中的 page 数目.

youngs/s: 每秒对 old page list 的访问次数(不是page的个数), 这种访问会就会把page从 old list 里移动到 new page list 的头部.

evicted without access: 放进 buffer pool 一次都没访问过就被踢出去的 page 数目. 如果发生了全表扫描, 这个数值可能就会临时变高.

补充

因为多线程对 buffer pool 进行访问的时候会发生资源竞争, MySQL 支持对 buffer pool 进行 sharding, 从而提高并发性能, 参数是innodb_buffer_pool_instances.

每个 instance 的 size = innodb_buffer_pool_size/innodb_buffer_pool_instances

官方推荐 sharding 后单个 instance 的 size 不要小于 1G*B. 比如我现在 pool 的总 size 是10 GB, 我设置的 instance 个数就是8.

上面 engine status 只能看到 buffer pool 的汇总情况, 如果想看每个 instance 的详情,
可以从 performance_schema 里拿:

SELECT * FROM INFORMATION_SCHEMA.INNODB_BUFFER_POOL_STATS

References:

https://dev.mysql.com/doc/refman/5.6/en/innodb-buffer-pool.html
https://dev.mysql.com/doc/refman/5.6/en/innodb-performance-midpoint_insertion.html
https://dev.mysql.com/doc/refman/5.6/en/innodb-buffer-pool-monitoring.html
https://dev.mysql.com/doc/refman/5.6/en/innodb-multiple-buffer-pools.html

转载于:https://www.cnblogs.com/sunss/p/6122075.html

InnoDB信息说明
weixin_33738578的博客
08-14 218
InnoDB是MySQL数据库发展至今一款至关重要的数据库存储引擎，其不仅支持事务特性，并且具有丰富的统计信息，便于数据库管理人员了解最近InnoDB存储引擎的运行状态。   早期版本的InnoDB存储引擎通过在内部新建一张名为innodb_monitor的表进行实现，InnoDB内部检测到该表后，会定时输出InnoDB引擎相关统计信息。而现在的InnoDB存储引擎通过命令show engin...
mysql之InnoDB Buffer Pool 深度解析与性能优化
qq_43460315的博客
02-22 1844
InnoDB Buffer Pool 是 MySQL InnoDB 存储引擎中至关重要的内存组件，它作为磁盘数据页和 CPU 之间的缓冲层，显著提升了数据访问速度，是 MySQL 性能优化的核心。深入理解 Buffer Pool 的工作原理和调优策略，对于构建高性能 MySQL 应用至关重要。InnoDB Buffer Pool 是 MySQL 性能优化的基石，合理配置和调优 Buffer Pool 可以显著提升数据库性能。
mysql innodb 之 buffer pool
weixin_40719943的博客
02-01 970
当执行读写操作的时候硬盘中的数据页会加载到buffer pool的数据页中，当buffer pool中的数据页持久化到硬盘中时，这些数据页又会被释放出来。那么如何识别buffer pool中哪些数据页是空闲的，比较笨的方法是遍历所有的数据页，会造成性能问题。而free链表则是用来记录buffer pool中所有的空闲数据页，free链表是一个双向链表，由每个数据页的控制块组成，每个控制块有两个指针，free_pre:指向上一个空闲数据页，free_nexe:指向下一个空闲数据页。
MYSQL innodb buffer pool 原理与监控
sql server的专栏
07-29 336
最近一段时间忙，尤其对MYSQL的原理的知识感觉到生疏了，所以还是的从新来过，让一些知识在重新印到脑子里面。今天就从 innodb buffer pool 开始。作为MYSQL 重要的组成部分innodb buffer pool 一直是一个关注到疏忽的点，大部分DB人员对其的认识1INNODBbuffer pool 为基于MYSQL的 INNODB数据库引擎的数据...
MySQL InnoDB Buffer Pool
qq_34125999的博客
12-15 923
1 缓存的重要性 我们知道，对于使用 InnoDB 作为存储引擎的表来说，不管是用于存储用户数据的索引（包括聚簇索引和二级索引），还是各种系统数据，都是以页的形式存放在表空间中的，而所谓的表空间只不过是 InnoDB 对文件系统上一个或几个实际文件的抽象，也就是说我们的数据说到底还是存储在磁盘上的。 但是磁盘的速度慢，所以 InnoDB 存储引擎在处理客户端的请求时，当需要访问某个页的数据时，就会把完整的页的数据全部加载到内存中，也就是说即使我们只需要访问一个页的一条记录，那也需要先把整个页的数据加载到内存
MySql innodb buffer pool
QuillChen的博客
12-10 806
show variables where variable_name in ('innodb_buffer_pool_size','innodb_file_per_table','innodb_log_buffer_size','innodb_page_size','key_buffer_size','query_cache_size'); 测试数据库： innodb_buffer_pool_size：buffer pool大小 ， 4294967296byte =4GB innodb_page_size
mysql原理--InnoDB的Buffer Pool
x13262608581的博客
01-06 2080
Buffer Pool，用户态高速缓存
【MySQL】InnoDB中的Buffer Pool
qq_45795794的博客
02-27 1023
Buffer Pool用作缓存，主要用于数据写入、数据读取、数据刷新，目的是为了减少磁盘I/O，增加读写速率，提高数据的访问速度和系统性能。
MySQL InnoDB Buffer Pool 不足 排查与优化全流程（超详细版）
weixin_43991457的博客
05-13 660
文章主要探讨了MySQL数据库响应变慢的问题，特别是InnoDB Buffer Pool配置不当导致的性能瓶颈。首先，文章描述了问题现象，包括磁盘IOPS飙升、CPU负载高、物理磁盘读取频繁等。接着，解释了InnoDB Buffer Pool的原理及其在减少磁盘IO、提升读写性能中的作用。文章进一步分析了导致Buffer Pool性能问题的核心成因，如配置过小、热点数据集过大、SQL查询不优化等，并提供了详细的排查步骤和优化解决方案，包括增大Buffer Pool大小、SQL优化、热冷数据分离、表碎片优化等
MySQL 内存缓冲池 InnoDB Buffer Pool Sizes 深度解析
良月柒
05-27 1612
InnoDB Buffer Pool是InnoDB存储引擎用于缓存表和索引数据的主要内存结构。它的主要功能是将经常访问的数据页保存在内存中，从而减少磁盘I/O操作，提高数据库的读写性能。InnoDB Buffer Pool是MySQL中提升性能的关键组件之一。合理配置和优化Buffer Pool大小及实例数量，可以显著提高数据库的读写性能。在实际应用中，应根据系统的内存资源、数据量和并发访问情况，动态调整Buffer Pool配置，并通过监控工具持续优化数据库性能。
MySQL性能优化InnoDB buffer pool flush策略
09-16
MySQL 性能优化 InnoDB buffer pool flush 策略 MySQL 中 InnoDB 存储引擎使用 buffer pool 来缓存从磁盘读取到内存的数据页。Buffer pool 通常由数个内存块加上一组控制结构体对象组成。内存块的个数取决于 buffer...
MySQL的InnoDB存储引擎中的Buffer Pool机制
z3551906947的博客
08-15 1416
Buffer Pool是MySQL数据库中的InnoDB存储引擎使用的一个内存区域，用来缓存数据库中的页（pages），以提高数据库的读写性能。每个页通常是16KB的大小，但这个大小可以根据配置进行调整。提高I/O效率：通过将数据和索引缓存到内存中，减少对物理磁盘的访问次数。支持数据局部性：利用数据访问的局部性原理，预加载可能会访问的数据，提高访问速度。事务支持：通过undo页支持事务的回滚和MVCC（多版本并发控制）。脏页管理：记录数据的变更，并通过刷新机制确保数据的持久性。
基于SpringBoot和uni-app开发的陪诊陪护软件系统源码
程序员创业中
09-06 1097
中国60岁以上人口已突破3.1亿，独居老人超1.3亿，而一线城市三甲医院日均门诊量超万人次。在这组数据背后，是无数家庭面临的困境：子女异地工作无法陪同父母就医，独居老人因不会操作智能设备在挂号机前徘徊，异地患者因不熟悉流程在医院迷路……当“就医”从个人事务演变为社会难题，陪诊陪护系统正以“专业服务+技术赋能”的双重模式，成为破解这一困局的关键。
怎么快速构建一个deep search模型呢
qq_57565004的博客
09-05 889
本文提出了一种快速构建具备深度信息检索能力的智能体系统（DeepSearch）的方法。该方法采用分阶段开发策略：首先基于RAG架构搭建基础检索链路，再通过LangChain框架整合大语言模型和搜索引擎API，赋予系统自主规划与迭代搜索能力，最终实现多源信息整合和结构化报告生成。技术选型上强调利用开源工具（如LangChain、ChromaDB）和预训练模型，通过"思考-检索-整合-迭代"的智能体工作流，高效构建可验证原型的核心功能。
PostgreSQL打印实时查询语句（监控PostgreSQL监控）（未成功）
最新发布
Dontla的博客
09-08 289
定期执行以下 SQL 语句（可通过脚本或。
【Linux】MySQL数据目录迁移步骤(含流程图&踩坑经验)
Billy_hxp的博客
09-08 397
本文记录了作者在解决生产环境MySQL服务器磁盘空间告急问题的全过程。通过分析发现MySQL数据目录占用了38GB空间，而/home分区仍有空闲空间。作者详细介绍了迁移MySQL数据目录到/home分区的步骤，包括停服、复制数据、修改配置、更新权限、处理SELinux等关键操作，并分享了迁移过程中遇到的权限问题、SELinux拒绝访问等踩坑经验。最后总结了生产环境操作需要保留回退方案、注意权限和SELinux问题等经验教训，并提供了完整的命令速查表。整个迁移过程体现了处理生产问题的三个关键能力：快速定位根因
分布式专题——1.1 Redis单机、主从、哨兵、集群部署
念头通达
09-05 1316
Redis 部署（单机、主从、哨兵、集群）、文件目录、配置文件
20250908_开启10.1.3.174_rzmes数据库的TSC_YYPLAN表补充日志+编写《Oracle 表级补充日志开启操作手册》
weixin_45806267的博客
09-08 34
《Oracle表级补充日志开启指南》摘要 本手册详细说明Oracle表级补充日志的开启步骤：1.先检查数据库最小补充日志状态、表补充日志情况及归档空间；2.提供两种开启方式（ALL COLUMNS或PRIMARY KEY）；3.通过DBA_LOG_GROUPS验证结果；4.强调运维需监控归档日志增长和FRA使用率；5.注意事项包括性能影响、无主键表处理及存储规划。最后附实操案例，展示如何为RZMES.TSC_YYPLAN表开启ALL COLUMNS补充日志，包含完整SQL执行过程及验证方法。
OCA、OCP、OCM傻傻分不清？Oracle认证就看这篇
hcie-0001
09-05 369
如果你已经具备一定的数据库管理经验，虽然没有考过数据库，但希望提升自己的专业技能，并且不想从最基础、较简单的OCA开始，那么。无论你是初学者还是有经验的专业人士，都可以通过Oracle认证来提升自己的技能和职业竞争力。OCM认证不仅要求你具备深厚的理论知识，还要求你能够解决复杂的数据库问题，并具备。在选择Oracle认证时，你需要根据自己的职业目标和当前的技能水平来做出决定。通过OCA认证，你可以证明自己掌握了Oracle数据库的基本操作和管理技能。记住，选择适合自己的认证级别，是实现职业目标的关键一步。
mysql innodb buffer pool 的淘汰机制是什么？
08-08
<think>我们正在讨论MySQL InnoDB Buffer Pool的淘汰机制。根据引用[2]和引用[3]，我们知道Buffer Pool使用了一种基于LRU（最近最少使用）算法的淘汰机制，但进行了优化，以避免全表扫描等操作导致的热数据被淘汰的问题。具体来说，InnoDB将LRU链表分为两个部分：新生代（new sublist）和老生代（old sublist）。默认情况下，新生代占5/8，老生代占3/8。 当新页面读入Buffer Pool时，它首先被插入到老生代的头部（即整个LRU链表的5/8位置，也就是老生代的头部）。这样，全表扫描等操作一次性加载的大量数据会首先进入老生代，而不会直接进入新生代，从而避免它们立即淘汰新生代中的热点数据。 当页面被访问时，如果该页面已经在老生代中，并且在其被加载后存活了一段时间（通过参数`innodb_old_blocks_time`设置，默认1000毫秒），那么再次访问该页面时，它会被移动到新生代的头部。如果在设定的时间内被再次访问，则不会移动，因为可能只是临时访问（如全表扫描）。 淘汰过程发生在当Buffer Pool需要空间来加载新页面时。InnoDB会从LRU链表的尾部（即老生代的尾部）开始淘汰页面。如果老生代的页面被修改过（成为脏页），则需要先将其刷新到磁盘（由后台线程完成）才能被淘汰。 此外，Buffer Pool还通过其他链表管理，如free链表（记录空闲缓存页）、flush链表（记录脏页）等，但淘汰机制主要基于改进的LRU链表。 现在，我们根据这些信息来回答用户的问题。</think>### MySQL InnoDB Buffer Pool 淘汰机制工作原理 MySQL InnoDB Buffer Pool 的淘汰机制采用**改进型LRU算法**（Least Recently Used，最近最少使用），通过多层链表结构和冷热数据分离策略优化传统LRU算法，避免全表扫描等操作污染热数据。具体工作原理如下： #### 一、核心数据结构 1. **LRU链表**（核心淘汰控制） - 分为两个子链表： - **新生代（New Sublist）**：存放热点数据，占5/8空间 - **老生代（Old Sublist）**：存放新加载或低频数据，占3/8空间 - 链表头部为最近访问数据，尾部为待淘汰数据 2. **Free链表** - 管理空闲缓存页，当需要加载新页时从此链表获取空间 3. **Flush链表** - 记录被修改过的脏页（需刷盘） #### 二、淘汰流程 1. **新数据插入** - 新页首次加载时插入老生代头部（非LRU头部） ```mermaid graph LR A[磁盘数据页] --> B{Buffer Pool空间} B -->|有空闲页| C[从Free链表取页] B -->|无空闲页| D[触发淘汰] D --> E[淘汰老生代尾部页] E --> F[新页插入老生代头部] ``` 2. **数据访问规则** - 访问老生代数据时： - 若数据在内存中停留时间 < `innodb_old_blocks_time`（默认1000ms），保持原位 - 若停留时间 ≥ 该阈值，则移至新生代头部 - 访问新生代数据时直接移至新生代头部 3. **淘汰触发条件** - 当Free链表无空闲页时 - 淘汰顺序： 1. 从老生代尾部选取未修改的干净页直接淘汰 2. 若老生代无干净页，则淘汰新生代尾部页 3. 若需淘汰脏页，需先加入Flush链表由后台线程刷盘 #### 三、关键优化设计 1. **冷热隔离** - 全表扫描加载的数据仅存在老生代，避免冲击热数据 - 通过`innodb_old_blocks_pct`调整老生代比例（默认37%） 2. **时间窗口保护** - `innodb_old_blocks_time`参数建立时间屏障，防止短期访问污染新生代 3. **批量淘汰** - 每次淘汰触发时清理多个页面（避免频繁淘汰影响性能） #### 四、参数配置示例 ```sql -- 查看关键参数 SHOW VARIABLES LIKE 'innodb_old_blocks_pct'; -- 老生代占比 SHOW VARIABLES LIKE 'innodb_old_blocks_time'; -- 冷数据保护时间(ms) ``` > **设计意义**：此机制有效平衡了高频访问数据的留存与突发数据加载的影响，在TPCC测试中可使查询性能提升10倍以上[^2][^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值