MySQL innodb_buffer_pool 内存分配过程

MySQL在启动时并不会立即分配innodb_buffer_pool_size所指定的全部内存,而是在虚拟内存中分配地址。随着实际使用,逐步映射到物理内存。如果物理内存(内存+swap)不足,可能导致错误或进程退出。Linux的malloc分配内存时,也是先分配虚拟内存地址,实际使用时才映射物理内存。当内存紧张,Linux的OOM Killer会选择占用内存最多的进程进行杀死,以确保系统稳定。

MySQL innodb_buffer_pool是在mysqld启动时分配?操作系统如何显示


查看my.cnf中配置:innodb_buffer_pool_size = 20G,物理机实际内存32G

 

mysqld启动前后内存使用对比:


启动mysql 后,used增加了1.5G,cached增加2M

 

top查看mysqld进程

VIRT:

1.进程需要的内存大小,包括进程使用的库、代码、数据,以及mallocnew分配的堆空间和分配的栈空间等;

2. mysqld申请22.3G的内存,但实际只使用了1.5G,那么virt它会增长22.3G,而不是实际的1.5G使用量。

3. MySQL启动时实际只是在虚拟内存中分配了地址空间,而并没有真正的映射到物理内存上。

4.VIRT =SWAP + RES

 

Linux malloc内存分配:

1.malloc分配内存是先在虚拟内存中分配地址的,到实际使用时才真正的映射到物理内存

2. 到了MySQL真正要映射物理内存时,首先分配物理内存,此时topres增加

3.如果物理内存不够用了,分配swap,此时性能很差,此时topres增加

所以,如果由于机器内存使用不当,到了MySQL真正要映射物理内存时,如果物理内存(内存+swap)不足了,就会出错甚至退出。

 

结论:innodb_buffer_pool_size= 20Gmysqld启动时在虚拟内存中分配地址,在使用过程中再映射到物理内存,如果物理内存(内存+swap)不足了,就会出错甚至退出。

 

篇外:Linux下的OOM Killer:

假如一个程序A已经运行,并且分配了22G内存(机器配置是物理内存16G+SWAP 8G),但是没有真正的映射到物理内存;

这时MySQL启动,innodb_buffer_pool_size=8G,启动正常;

然后程序A开始实际分配物理内存,一下子只剩下2GSWAP内存了;

这时MYSQL也开始实际使用内存,因为只有2GSWAP,所以性能很差,再超过2G时,内存耗尽,这时OOMKiller开始杀进程,怎么杀呢,谁占用内存多杀谁,于是将进程A杀掉了,内存一下子回来了,MySQL不会退出;

但是一般系统中MySQL都是分配内存最大的,所以经常性的是MySQL被杀掉。

 



### 查看InnoDB Buffer Pool的剩余可用内存 在MySQL中,可以通过`INFORMATION_SCHEMA.INNODB_METRICS`表或`SHOW ENGINE INNOD STATUS`命令来获取有关InnoDB Buffer Pool的状态信息。以下是具体方法: #### 方法一:使用 `INFORMATION_SCHEMA.INNODB_METRICS` MySQL 提供了一个名为 `INNODB_METRICS` 的系统视图,其中包含了关于 InnoDB 存储引擎的各种指标数据。可以从中提取与 Buffer Pool 相关的信息。 ```sql SELECT * FROM INFORMATION_SCHEMA.INNODB_METRICS WHERE NAME LIKE 'buffer_pool%'; ``` 此查询会返回一系列与 Buffer Pool 相关的统计信息,包括已使用的页面数 (`buffer_pool_pages_total`) 和空闲页面数 (`buffer_pool_pages_free`) 等[^1]。 计算剩余可用内存的方法如下: - 总页数:`buffer_pool_pages_total` - 空闲页数:`buffer_pool_pages_free` - 页面大小通常为 16KB (由参数 `innodb_page_size` 控制) 因此,剩余可用内存可通过以下公式计算得出: \[ \text{剩余内存} = \text{buffer_pool_pages_free} \times \text{innodb_page_size} / 1024^2 (\text{单位 MB}) \] #### 方法二:使用 `SHOW ENGINE INNODB STATUS` 执行以下命令可获得更详细的缓冲池状态报告: ```sql SHOW ENGINE INNODB STATUS; ``` 该命令的结果中包含多个部分,其中包括 Buffer Pool 部分的内容。查找类似于以下字段的部分: - **Pool size**: 表示总页数。 - **Free buffers**: 表示当前未被占用的页数。 通过这两个数值也可以推算出剩余可用内存[^3]。 --- ### 示例代码 假设需要动态计算剩余可用内存并以MB为单位显示,则可以用以下SQL脚本实现: ```sql SET @page_size_kb := IFNULL((SELECT VARIABLE_VALUE FROM performance_schema.global_variables WHERE VARIABLE_NAME='innodb_page_size'), 16384); SET @pages_total := (SELECT COUNT_VALUE FROM INFORMATION_SCHEMA.INNODB_METRICS WHERE NAME = 'buffer_pool_pages_total'); SET @pages_free := (SELECT COUNT_VALUE FROM INFORMATION_SCHEMA.INNODB_METRICS WHERE NAME = 'buffer_pool_pages_free'); SELECT (@pages_free * @page_size_kb / 1024) AS free_memory_mb; ``` 以上脚本首先设置每页大小(默认16KB),接着分别获取总页数和空闲页数,最后计算剩余内存并转换成MB单位输出[^4]。 --- ### 注意事项 - 如果无法找到 `INFORMATION_SCHEMA.INNODB_METRICS` 或其内容为空,请确认是否启用了性能监控功能。启用方式如下: ```sql SET GLOBAL innodb_monitor_enable=all; ``` - 查询结果可能因时间变化而不同,建议多次运行观察趋势。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值