iostat与vmstat命令详解

最新推荐文章于 2025-10-29 22:33:45 发布

转载最新推荐文章于 2025-10-29 22:33:45 发布 · 394 阅读

文章标签：

本文详细介绍了 iostat 和 vmstat 命令的使用方法及参数，通过实例分析展示了如何利用这两个工具监控 Linux 系统的 IO 负载和整体性能，特别强调了如何识别 CPU 密集型和 IO 密集型任务，以及如何通过数据理解系统的瓶颈所在。

简介

iostat主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。

语法

iostat [ -c ] [ -d ] [ -h ] [ -N ] [ -k | -m ] [ -t ] [ -V ] [ -x ] [ -z ] [ device [...] | ALL ] [ -p [ device [,...] | ALL ] ] [ interval [ count ] ]

入门使用

iostat -d -k 2

参数 -d 表示，显示设备（磁盘）使用状态；-k某些使用block为单位的列强制使用Kilobytes为单位；2表示，数据显示每隔2秒刷新一次。

输出如下

iostat -d -k 1 10

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda 39.29 21.14 1.44 441339807  29990031

sda1 0.00 0.00 0.00 1623 523

sda2 1.32 1.43 4.54 29834273  94827104

sda3 6.30  0.85 24.95 17816289 520725244

sda5 0.85 0.46 3.40  9543503 70970116

输出信息的意义

tps：该设备每秒的传输次数（Indicate the number of transfers per second that were issued to the device.）。"一次传输"意思是"一次I/O请求"。多个逻辑请求可能会被合并为"一次I/O请求"。"一次传输"请求的大小是未知的。

kB_read/s：每秒从设备（drive expressed）读取的数据量；
kB_wrtn/s：每秒向设备（drive expressed）写入的数据量；
kB_read：读取的总数据量；
kB_wrtn：写入的总数量数据量；这些单位都为Kilobytes。

上面的例子中，我们可以看到磁盘sda以及它的各个分区的统计数据，当时统计的磁盘总TPS是39.29，下面是各个分区的TPS。（因为是瞬间值，所以总TPS并不严格等于各个分区TPS的总和）

指定监控的设备名称为sda，该命令的输出结果和上面命令完全相同。

 iostat -d sda 2

默认监控所有的硬盘设备，现在指定只监控sda。

-x 参数

iostat还有一个比较常用的选项-x，该选项将用于显示和io相关的扩展数据。

iostat -d -x -k 1 10

Device:                        rrqm/s wrqm/s   r/s w/s   rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda 1.56 28.31 7.80 31.49 42.51 2.92 21.26 1.46 1.16 0.03 0.79 2.62 10.28

Device:                         rrqm/s wrqm/s   r/s w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda 2.00  20.00 381.00 7.00 12320.00 216.00 6160.00 108.00 32.31 1.75 4.50  2.17 84.20

输出信息的含义

点击(此处)折叠或打开

rrqm/s：每秒这个设备相关的读取请求有多少被Merge了（当系统调用需要读取数据的时候，VFS将请求发到各个FS，如果FS发现不同的读取请求读取的是相同Block的数据，FS会将这个请求合并Merge）；
wrqm/s：每秒这个设备相关的写入请求有多少被Merge了。
rsec/s：每秒读取的扇区数；
wsec/：每秒写入的扇区数。
rKB/s：The number of read requests that were issued to the device per second；
wKB/s：The number of write requests that were issued to the device per second；
avgrq-sz 平均请求扇区的大小
avgqu-sz 是平均请求队列的长度。毫无疑问，队列长度越短越好。
await： 每一个IO请求的处理的平均时间（单位是微秒毫秒）。这里可以理解为IO的响应时间，一般地系统IO响应时间应该低于5ms，如果大于10ms就比较大了。
这个时间包括了队列时间和服务时间，也就是说，一般情况下，await大于svctm，它们的差值越小，则说明队列时间越短，反之差值越大，队列时间越长，说明系统出了问题。 svctm表示平均每次设备I/O操作的服务时间（以毫秒为单位）。如果svctm的值与await很接近，表示几乎没有I/O等待，磁盘性能很好，如果await的值远高于svctm的值，则表示I/O队列等待太长，系统上运行的应用程序将变慢。 %util：在统计时间内所有处理IO时间，除以总共统计时间。例如，如果统计间隔1秒，该设备有0.8秒在处理IO，而0.2秒闲置，那么该设备的%util = 0.8/1 = 80%，所以该参数暗示了设备的繁忙程度。一般地，如果该参数是100%表示设备已经接近满负荷运行了（当然如果是多磁盘，即使%util是100%，因为磁盘的并发能力，所以磁盘使用未必就到了瓶颈）。

-c 参数

iostat还可以用来获取cpu部分状态值：

iostat -c 1 10

avg-cpu: %user %nice %sys %iowait %idle

 1.98 0.00 0.35 11.45 86.22

avg-cpu: %user %nice %sys %iowait %idle

 1.62 0.00 0.25  34.46 63.67

常见用法

iostat -d -k 1 10 #查看TPS和吞吐量信息(磁盘读写速度单位为KB)
iostat -d -m 2 #查看TPS和吞吐量信息(磁盘读写速度单位为MB)
iostat -d -x -k 1 10 #查看设备使用率（%util）、响应时间（await） iostat -c 1 10 #查看cpu状态

实例分析

ostat -d -k 1 |grep sda10
Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda10 60.72 18.95 71.53 395637647 1493241908

sda10 299.02 4266.67 129.41 4352 132

sda10 483.84 4589.90  4117.17 4544 4076

sda10 218.00 3360.00 100.00 3360 100

sda10 546.00 8784.00  124.00 8784 124

sda10 827.00 13232.00 136.00  13232 136

上面看到，磁盘每秒传输次数平均约400；每秒磁盘读取约5MB，写入约1MB。

iostat -d -x -k 1

 Device:    rrqm/s wrqm/s   r/s w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda 1.56 28.31 7.84 31.50 43.65 3.16 21.82 1.58 1.19 0.03 0.80 2.61 10.29

sda 1.98 24.75 419.80 6.93 13465.35 253.47 6732.67 126.73 32.15 2.00 4.70 2.00 85.25

sda 3.06 41.84 444.90 54.08 14204.08 2048.98 7102.04 1024.49 32.57 2.10 4.21 1.85 92.24

可以看到磁盘的平均响应时间<5ms，磁盘使用率>80。磁盘响应正常，但是已经很繁忙了。

实例分析

$iostat -d -c -x   1 3
avg-cpu: %user %nice %sys %idle
16.24 0.00 4.31 79.44
Device:   rrqm/s wrqm/s   r/s w/s rsec/s    wsec/s    rkB/s wkB/s avgrq-sz   avgqu-sz   await   svctm   %util
/dev/cciss/c0d0   0.00   44.90   1.02   27.55 8.16   579.59 4.08   289.80    20.57   22.35 78.21 5.00   14.29

上面的 iostat 输出表明秒有 28.57 次设备 I/O 操作: 总IO(io)/s = r/s(读) +w/s(写) = 1.02+27.55 = 28.57 (次/秒) 其中写操作占了主体 (w:r = 27:1)。

平均每次设备 I/O 操作只需要 5ms 就可以完成，但每个 I/O 请求却需要等上 78ms，为什么? 因为发出的 I/O 请求太多 (每秒钟约 29 个)，假设这些请求是同时发出的，那么平均等待时间可以这样计算:

平均等待时间 = 单个 I/O 服务时间 * ( 1 + 2 + … + 请求总数-1) / 请求总数

应用到上面的例子: 平均等待时间 = 5ms * (1+2+…+28)/29 = 70ms，和 iostat 给出的78ms 的平均等待时间很接近。这反过来表明 I/O 是同时发起的。

每秒发出的 I/O 请求很多 (约 29 个)，平均队列却不长 (只有 2 个左右)，这表明这 29 个请求的到来并不均匀，大部分时间 I/O 是空闲的。

一秒中有 14.29% 的时间 I/O 队列中是有请求的，也就是说，85.71% 的时间里 I/O 系统无事可做，所有 29 个 I/O 请求都在142毫秒之内处理掉了。

delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s =78.21 * delta(io)/s = 78.21*28.57 = 2232.8，表明每秒内的I/O请求总共需要等待2232.8ms。所以平均队列长度应为 2232.8ms/1000ms = 2.23，而 iostat 给出的平均队列长度 (avgqu-sz) 却为 22.35，为什么?! 因为 iostat 中有 bug，avgqu-sz 值应为 2.23，而不是 22.35

=========================华丽的分割线-=====================================

VMstat

vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。

一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数，如:

[root@sh242 ~]# vmstat 2 5
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0 1887636  91616  48284 1000488    0    1   794   159    1    2  2  0 97  0  0
 0  0 1887636  91360  48308 1000512    0    0     0    44  245  184  2  0 98  0  0
 0  0 1887636  91360  48308 1000512    0    0     0     0  185  118  0  0 100  0  0
 0  0 1887636  91360  48316 1000508    0    0     0     8  240  154  1  1 98  0  0
 0  0 1887636  91368  48316 1000512    0    0     0    18  257  195  3  0 97  0  0

2表示每个两秒采集一次服务器状态，5表示只采集5次。

实际上，在应用过程中，我们会在一段时间内一直监控，不想监控直接结束vmstat就行了,例如:

[root@sh242 ~]# vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0 1887636  91500  48344 1000512    0    1   794   159    1    2  2  0 97  0  0
 0  0 1887636  91368  48348 1000512    0    0     0     4  169  157  1  0 99  0  0
 0  0 1887636  91368  48348 1000512    0    0     0     0   98  114  0  0 100  0  0
 0  0 1887636  91368  48348 1000512    0    0     0     0  138  148  2  0 98  0  0

这表示vmstat每1秒采集数据，一直采集，直到我结束程序，这里采集了5次数据我就结束了程序。

好了，命令介绍完毕，现在开始实战讲解每个参数的意思。

r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。

b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。

swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。

free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。

buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M

cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。)

si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。

so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。

bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒

bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。

in 每秒CPU的中断次数，包括时间中断

cs（一般不超过10万都可以） 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源，也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的时间少了，CPU没有充分利用，是不可取的。

us 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。

sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。

id 空闲 CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。

wt 等待IO CPU时间。

=========================华丽的分割线-=====================================

通过生产环境来分析（高性能mysql P428）
cpu密集型的机器

[root@HaoDai_App_DB01 toolsqldir]# vmstat 2
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
10 0 0 1181848 280972 44328028 0 0 0 2550 7400 2931 88 0 92 0 0
8 0 0 1181848 280972 44328040 0 0 0 1388 6274 2209 78 0 92 0 0
11 0 0 1181928 280972 44328052 0 0 0 1798 8888 3407 90 0 90 0 0
12 0 0 1181308 280972 44328068 0 0 0 1938 7531 2943 98 0 90 1 0
8 0 0 1181040 280972 44328088 0 0 0 1410 8370 3196 80 0 90 0 0
9 0 0 1181180 280972 44328104 0 0 0 2294 5324 2633 84 0 95 0 0
cpu：密集型的机器通常在us上有一个很高的值；也有可能在sy列的值很高，表示cpu的利用率，超过20%就让人不安了，大部分情况下也会有队列排队时间（在r列报告的）
同时观察iostat 磁盘利用率是明显低于50%的

[root@HaoDai_App_DB01 toolsqldir]# iostat -dxm 2
Linux 2.6.32-504.16.2.el6.x86_64 (HaoDai_App_DB01) 12/29/2015 _x86_64_ (40 CPU)

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 1.68 0.01 0.45 0.00 0.01 42.26 0.00 0.35 0.21 0.01
sdb 0.00 127.44 0.00 124.09 0.00 0.94 15.59 0.01 0.10 0.06 0.80

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdb 0.00 242.00 0.00 220.50 0.00 1.74 16.13 0.01 0.07 0.04 0.90

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 3.50 0.00 1.00 0.00 0.02 36.00 0.00 0.00 0.00 0.00
sdb 0.00 362.00 0.00 245.00 0.00 2.30 19.23 0.03 0.13 0.09 2.10

IO密集型的机器

[root@HaoDai_App_DB01 toolsqldir]# vmstat 2
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
4 8 0 1170904 280972 44332020 0 0 0 24 0 0 3 0 25 63 0
5 9 0 1170552 280972 44332028 0 0 0 1410 8012 3433 8 0 20 59 0
5 10 0 1169412 280972 44332052 0 0 0 2522 7041 2643 9 0 21 60 0
3 9 0 1170016 280972 44332064 0 0 0 1328 7925 2570 10 0 15 56 0
io密集型的机器工作负载下，cpu花费大量时间在等待io请求完成，这意味着vmstat会显示很多处理器在非中断休眠（b列）状态，并且在wa者一列的值很高查看iostat会发现磁盘利用率很高，很忙 [root@HaoDai_App_DB01 toolsqldir]# iostat -dxm 2
Linux 2.6.32-504.16.2.el6.x86_64 (HaoDai_App_DB01) 12/29/2015 _x86_64_ (40 CPU)

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 1.68 0.01 0.45 0.00 0.01 42.26 0.00 0.35 0.21 101 sdb 0.00 127.44 0.00 124.09 0.00 0.94 15.59 0.01 0.10 0.06 100

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 101.1
sdb 0.00 242.00 0.00 220.50 0.00 1.74 16.13 0.01 0.07 0.04 99

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 3.50 0.00 1.00 0.00 0.02 36.00 0.00 0.00 0.00 101
sdb 0.00 362.00 0.00 245.00 0.00 2.30 19.23 0.03 0.13 0.09 102