如果MySQL磁盘满了,会发生什么?

本文讲述了作者在面对MySQL磁盘空间满但数据占用过大问题时,如何通过分析datafree、尝试碎片化整理、版本升级、数据清理等步骤,最终解决空间占用过多的问题。关键步骤包括检查数据表状态、不支持InnoDB的应对、数据表碎片化处理以及恢复数据库的过程。

作者 | 会飞的猪

来源 | https://testerhome.com/topics/23049

问题:

使用命令发现磁盘使用率为100%了,还剩几十兆。

一系列神操作

备份数据库,删除实例、删除数据库表、重启mysql服务,结果磁盘空间均没有释放。

怎么办

网上查了很多资源,说要进行磁盘碎片化整理。原因是datafree占据的空间太多啦。具体可以通过这个sql查看。

SELECT CONCAT(TRUNCATE(SUM(data_length)/1024/1024,2),'MB') AS data_size,
CONCAT(TRUNCATE(SUM(max_data_length)/1024/1024,2),'MB') AS max_data_size,
CONCAT(TRUNCATE(SUM(data_free)/1024/1024,2),'MB') AS data_free,
CONCAT(TRUNCATE(SUM(index_length)/1024/1024,2),'MB') AS index_size
FROM information_schema.tables WHERE TABLE_NAME = 'datainfo';
这个是后来的图了,之前的图没有留,当时显示一张表里的data_free都达到了20
个G。

网上推荐的做法如下所示,对表格进行碎片化整理。

ALTER TABLE datainfo ENGINE=InnoDB;
ANALYZE TABLE datainfo;


optimize table datainfo;

僵局:

查看数据库版本为5.562不支持inodb,要么选择升级数据库。正在这时,有个不好的消息发生了,那张表格给删掉了,但是磁盘空间还是没有释放啊。所以对表进行碎片化整理的路也走不通了,因为表没了。。。

后来的神操作

1、使用命令查看mysql安装的位置和配置文件所在的地方

mysql 1118 945 0 14:28 ? 00:00:00 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mysqld.log --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/lib/mysql/mysql.sock
2、关闭mysql
service mysql stop

3、删除datadir目录下的ibdata1、ib_logfile0 ib_logfile1这些文件

4、 移动mysql的启动参数

mv /etc/my.cnf ./abc

5、重新启动mysql 发现磁盘空间释放了 service mysql start

磁盘空间终于释放了

下一步数据库还原

1、采用navicate备份工具,进行数据库备份

备份成功后生成了,生成psc文件。200409141055.psc

2、新建一个数据库实例,设置数据库名和字符集

3、然后对备份数据库进行还原,点击还原

4、开始进行还原 第一次还原后发现还原后数据库表建成功了,但是表里面没有数据。

后来网上查找资料发现是,遇到错误就停止了。所以更改了还原的配置,再次进行还原。之前是这样设置的

还原时当成一个事务进行了,遇到错误就停止了。更改配置

重新进行还原,数据库里的数据有了,并且验证没有问题。

问题解决

mysql碎片化产生的原因

(1)表的存储会出现碎片化,每当删除了一行内容,该段空间就会变为被留空,而在一段时间内的大量删除操作,会使这种留空的空间变得比存储列表内容所使用的空间更大;

(2)当执行插入操作时,MySQL会尝试使用空白空间,但如果某个空白空间一直没有被大小合适的数据占用,仍然无法将其彻底占用,就形成了碎片;

(3)当MySQL对数据进行扫描时,它扫描的对象实际是列表的容量需求上限,也就是数据被写入的区域中处于峰值位置的部分;

清除碎片的优点:

降低访问表时的IO,提高mysql性能,释放表空间降低磁盘空间使用率

注意

1.MySQL官方建议不要经常(每小时或每天)进行碎片整理,一般根据实际情况,只需要每周或者每月整理一次即可(我们现在是每月凌晨4点清理mysql所有实例下的表碎片)。

2.在OPTIMIZE TABLE运行过程中,MySQL会锁定表。因此,这个操作一定要在网站访问量较少的时间段进行。

3.清理student的105万条数据, OPTIMIZE TABLE 库.student;本地测试需要37秒。

自测

大家可以用这条语句看看自己的系统的datafree大不大 

show table status from 表名;

<think>好的,我现在需要回答用户关于MySQL在操作系统层面的一次磁盘I/O的具体过程的问题。首先,我得回顾用户的问题,确保理解正确。用户想了解MySQL在操作系统层面处理磁盘I/O的详细过程,包括步骤和相关机制。 首先,我应该从MySQL发起I/O请求开始。MySQL在需要读取或写入数据时,会通过存储引擎(比如InnoDB)发出请求。这里可能需要提到InnoDB的缓冲池(Buffer Pool),因为缓冲池管理着数据页的缓存,当请求的数据不在内存中时,就需要从磁盘读取。 接下来是系统调用。MySQL会调用操作系统的read()或write()等函数。这时候,用户空间和内核空间的切换发生,数据需要在内核缓冲区中进行处理。这部分需要解释清楚用户态和内核态的区别,以及系统调用的作用。 然后是文件系统和VFS(虚拟文件系统)。Linux系统使用VFS来抽象不同的文件系统,MySQL的I/O请求通过VFS传递到具体的文件系统(比如ext4)。文件系统负责处理逻辑地址到物理地址的转换,包括inode和块的管理。可能需要提到文件系统如何将文件偏移量转换为逻辑块号。 接下来是块设备层和I/O调度。内核的块设备层处理I/O请求,进行合并和排序,优化磁盘访问。I/O调度算法(如CFQ、Deadline)在这里起作用,减少磁头移动,提高效率。这部分需要说明调度器的作用以及为什么需要调度。 然后是磁盘控制器和DMA。调度后的请求被发送到磁盘控制器,转换成物理扇区地址(盘面、磁道、扇区)。DMA(直接内存访问)控制器负责数据传输,无需CPU介入,这样可以提高效率。这里要解释DMA的工作原理和优势。 磁盘寻道和预读。磁盘驱动器移动磁头到指定位置,读取数据。同时,可能涉及磁盘预读机制,提前读取相邻扇区的数据,减少未来I/O操作。这里需要引用用户提供的引用[2]中的内容,提到逻辑块号到物理扇区的映射,以及预读机制。 最后,数据返回路径。数据通过DMA传到内核缓冲区,再复制到用户空间的MySQL进程,存储引擎处理数据并更新缓冲池。可能需要提到Page Cache的作用,以及如何减少实际磁盘I/O的次数。 在整个过程中,还需要考虑MySQL的优化措施,比如索引机制减少I/O,以及操作系统层面的预读和缓存策略。用户提供的引用[1]提到了性能分析工具和锁优化,引用[2]详细描述了磁盘结构和预读,这些可以作为补充信息。 需要确保使用正确的中文术语,并且按照用户的要求,行内公式用$...$,独立公式用$$...$$。不过在这个问题中可能数学公式不多,但如果有涉及的话需要注意格式。另外,生成相关问题部分要围绕磁盘I/O的过程、优化、性能分析等方面提问。 现在需要组织这些步骤,确保逻辑清晰,结构合理。可能分步骤详细解释每个阶段,同时引用用户提供的资料来支持说明。比如在文件系统转换逻辑块时引用[2],在性能分析时引用[1]。 最后检查是否符合用户的所有要求:中文回答、结构清晰、正确引用、生成相关问题。确保没有遗漏关键点,比如DMA、调度算法、预读机制等。</think>### MySQL在操作系统层面的磁盘I/O过程分析 #### 1. **MySQL发起I/O请求** 当MySQL需要访问数据时,存储引擎(如InnoDB)会先检查缓冲池(Buffer Pool)。若数据页不在内存中,则触发磁盘I/O请求。例如: ```sql SELECT * FROM table WHERE id = 100; -- 若id=100的数据未缓存,需从磁盘读取 ``` #### 2. **系统调用与内核空间** MySQL通过系统调用(如`read()`或`write()`)向操作系统发起请求。此时: - 用户态切换到内核态,数据操作由内核管理。 - 内核的**Page Cache**可能直接返回缓存数据(若存在),避免实际磁盘访问[^1]。 #### 3. **文件系统与逻辑地址转换** 操作系统通过**虚拟文件系统(VFS)**将请求传递给具体文件系统(如ext4): - 文件系统将文件路径和偏移量转换为**逻辑块号**(例如文件偏移8192字节对应逻辑块号2)。 - 引用[2]提到,逻辑块号由磁盘控制器映射为物理扇区地址(盘面、磁道、扇区)。 #### 4. **块设备层与I/O调度** 内核的**块设备层**对I/O请求优化: - **合并相邻请求**:如连续读取逻辑块2和3,合并为单次操作。 - **I/O调度算法**(如Deadline调度器)按磁头移动效率排序请求,减少寻道时间。 #### 5. **磁盘控制器与DMA传输** - 磁盘控制器将逻辑块号转换为物理扇区三元组(盘面、磁道、扇区)[^2]。 - **DMA(直接内存访问)**控制器接管数据传输,无需CPU参与: $$ \text{数据流:磁盘扇区} \xrightarrow{DMA} \text{内核缓冲区} \xrightarrow{} \text{MySQL用户空间} $$ #### 6. **磁盘寻道与数据预读** - 磁盘驱动器移动磁头到目标磁道,读取指定扇区。 - **磁盘预读机制**:根据局部性原理,额外读取相邻扇区数据,减少未来I/O次数[^2]。 #### 7. **数据返回与处理** - 数据通过DMA传至内核缓冲区,再复制到MySQL进程内存。 - InnoDB将数据页加载到缓冲池,供后续查询使用。 --- ### 关键优化技术 1. **减少I/O次数**:通过B+树索引缩小扫描范围(如二级索引快速定位主键)。 2. **Page Cache利用**:操作系统缓存热点数据,避免重复磁盘访问[^1]。 3. **异步I/O**:InnoDB使用异步I/O(如`io_submit`)并行处理多个请求。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值