记一次磁盘IO高问题排查过程

我们服务器搭建了cacti进行监控，一次通过查看磁盘IO图像的时候，发现每天凌晨3：20-3：35的时候磁盘IO一下飙的很高，然后想知道到底是哪个进程占用那么高的IO，下面是解决方法：

写个检测脚本check_io_process.sh,当磁盘IO占用高的时候进行磁盘IO读写进程次数的检测:

#!/bin/bash
# Date: 2013/8/20
# Author: zhangkai
# Description: This script is used to check IO higher process.
# History:
iostat_log=/data/logs/iostat/iostat.log
dmesg_log=/data/logs/iostat/dmesg.log
dstat_log=/data/logs/iostat/dstat.log

if [ ! -d /data/logs/iostat ];then
    mkdir -p /data/logs/iostat
fi

add(){
str=$@
sum=`echo ${str// /+}|bc -l`
}

iostat -x 1 5 > $iostat_log
idle_percent=`cat $iostat_log | awk 'BEGIN{flag=0} {if(flag ==1){print $12; flag=0;} if (index($0, "%util" ))  {flag = 1;}}'`

add $idle_percent

#求5次查询IO占用率的平均值

avg=`echo $sum/5|bc`

if [[ $avg -ge 70 ]];then
    echo 1 > /proc/sys/vm/block_dump
    echo "-----------------------------------------------" >> $dmesg_log
    echo `date "+%Y-%m-%d %H:%M:%S"` >> $dmesg_log
    python /data/dmesg_io.py >> $dmesg_log
   
    echo "-----------------------------------------------" >> $dstat_log
    echo `date "+%Y-%m-%d %H:%M:%S"` >> $dstat_log
    dstat -d --top-bio 1 10 >> $dstat_log
    echo 0 > /proc/sys/vm/block_dump   
fi

其中该shell脚本调用了检测磁盘IO读写进程次数的python脚本,下面是dmesg_io.py的代码：

#!/usr/bin/python
# Monitoring per-process disk I/O activity
# written by http://www.vpsee.com

import sys, os, time, signal, re

class DiskIO:
    def __init__(self, pname=None, pid=None, reads=0, writes=0):
        self.pname = pname
        self.pid = pid
        self.reads = 0
        self.writes = 0

def main():
    argc = len(sys.argv)
    if argc != 1:
        print "usage: ./iotop"
        sys.exit(0)

    if os.getuid() != 0:
        print "must be run as root"
        sys.exit(0)

    signal.signal(signal.SIGINT, signal_handler)
    os.system('echo 1 > /proc/sys/vm/block_dump')
    print "TASK              PID       READ      WRITE"
#    while True:
    os.system('dmesg -c > /tmp/diskio.log')
    l = []
    f = open('/tmp/diskio.log', 'r')
    line = f.readline()
    while line:
        m = re.match(\
            '^(\S+)\((\d+)\): (READ|WRITE) block (\d+) on (\S+)', line)
        if m != None:
            if not l:
                l.append(DiskIO(m.group(1), m.group(2)))
                line = f.readline()
                continue
            found = False
            for item in l:
                if item.pid == m.group(2):
                    found = True
                    if m.group(3) == "READ":
                        item.reads = item.reads + 1
                    elif m.group(3) == "WRITE":
                        item.writes = item.writes + 1
            if not found:
                l.append(DiskIO(m.group(1), m.group(2)))
        line = f.readline()
    time.sleep(1)
    for item in l:
        print "%-10s s d d" % \
            (item.pname, item.pid, item.reads, item.writes)

def signal_handler(signal, frame):
    os.system('echo 0 > /proc/sys/vm/block_dump')
    sys.exit(0)

if __name__=="__main__":
    main()

 

发现在3：20-3：35的日志如下(仅列出部分)：

[root@localhost iostat]# cat dmesg.log

-----------------------------------------------

2013-08-22 03:23:06
TASK              PID       READ      WRITE
updatedb        18661       2951          0
kjournald         804          0        525
kjournald        1826          0        576

-----------------------------------------------
2013-08-22 03:24:05
TASK              PID       READ      WRITE
updatedb        18661       3007          0
kjournald         804          0        238
kjournald        1826          0        112
flush-8:0       11687          0         18
-----------------------------------------------
2013-08-22 03:25:05
TASK              PID       READ      WRITE
updatedb        18661       2689          0
kjournald         804          0        229
kjournald        1826          0         44

 

说明是updatedb这进程惹的祸，google查之，这个是由[cron]自动运行的更新系统数据的脚本。
其作用是为你系统里面的文件建立索引，以便于locate和whereis等查询命令的能够快速执行

而我们服务器/data/目录每天会产生大量的小文件，导致建立索引的时候占用很高的磁盘IO

服务器每天定时对硬盘上的文件进行索引，简单的说就是建立一个数据库，把所有文件目录信息存放到这个库里面，当使用whereis和locate命令搜索文件时，它直接到这个数据库中读取数据。而不是像find一样在硬盘上找文件。Whereis搜索一个文件几乎只要几秒钟就可以搞定，而find需要花费几分钟或者更长时间。updatedb.Conf使搜索的效率提高了很多倍。但是有缺点，它每天都需要索引更新，这会导致IO负载过高，因为不是时时更新，所以会出现搜索到已经删除的文件，搜不出新添加的文件，平时管理中我们很少用到。如果文件数量多而且更新平凡，我们大可把这个功能关闭

优化方法：

1.停止对/data目录进行建立索引操作

vim /etc/updatedb.conf

找到PRUNEPATHS，在后面添加上你不想让这个updatedb建立索引的目录

2.设置定时更新的工作频率从每天一次降低到每周执行一次，命令如下：

mv /etc/cron.daily/mlocate.cron /etc/cron.weekly/
当然如果你服务器用不着建立索引，也可以直接移除