FUCK, 排查python写入mysql数据库过慢的过程(心都碎了)

在排查程序中实时读取rsyslog日志导致MySQL插入速度慢的问题时,发现磁盘IO负载过高是主要原因。通过将MySQL数据目录切换到SSD,成功解决了插入速度慢的问题。

最近写了一个程序,实时读取rsyslog日志,但是遇到一个问题:mysql插入速度存在延时,速度非常慢,于是开始了排查;

1. 分析程序,将认为比较耗时的地方进行线程分析,无效;

2. 按照网上说的,多行插入,commit都没有效果;

3. 重装mysql驱动,无效;

4. 编写简单的测试语句插入数据库,发现较慢,进一步在mysql中执行sql语句发现较慢,确定是mysql的问题;

5. 查看mysql的日志大小,以及目录空间,发现都没有问题,排除;

6. 关闭myql的bin选项,发现插入速度快了将近一半,可是还是不能接受,这也不是正确的做法;

7. 最后想到是否是磁盘的IO负载过高?排查时发现磁盘的IO速度非常慢,才100多兆,初步定位应该是该问题;

8. 切换mysql 的数据目录到ssd,发现问题解决,原来是磁盘的IO太慢导致的插入速度过慢。

 

当然了,上面的问题可能是个案,如果大家各种方法都排出了,不妨看下是否是我遇到的问题。

 

转载于:https://www.cnblogs.com/bufferfly/p/4883089.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值