linux io测试

最新推荐文章于 2024-09-26 11:47:38 发布
转载 最新推荐文章于 2024-09-26 11:47:38 发布 · 1.1k 阅读 · 0

本文通过dd、orion、iozone及bonnie++等工具对开发环境的IO性能进行了全面测试，详细记录了各种测试条件下的读写速度及IOPS，并对比分析了不同工具的测试结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

    • 近来想了解一下开发环境的IO性能，分别用dd/orion/iozone/bonnie++四种工具测试了一下

    开发环境系统配置如下:
    Intel SR1625 server , 2 CPU, 32GB内存, 用主板自带卡做了raid1+0，8个7200转SATA硬盘
    操作系统是RHEL 5.3 64位
    因为物理内存是32GB，因此整个过程都选用了60GB+的数据量来测试，以避免cache的影响

    1. 首先用自带的dd命令先测一下, 块大小为8k

    dd只能提供一个大概的测试结果，而且是连续IO 而不是随机IO

    读测试
    # time dd if=/dev/sda2 of=/dev/null bs=8k count=8388608
    8388608+0 records in
    8388608+0 records out
    68719476736 bytes (69 GB) copied, 516.547 seconds, 133 MB/s

    real    8m36.926s
    user    0m0.117s
    sys     0m55.216s

    写测试
    # time dd if=/dev/zero f=/opt/iotest bs=8k count=8388608
    8388608+0 records in
    8388608+0 records out
    68719476736 bytes (69 GB) copied, 888.398 seconds, 77.4 MB/s

    real    14m48.743s
    user    0m3.678s
    sys     2m47.158s

    读写测试
    # time dd if=/dev/sda2 f=/opt/iotest bs=8k count=8388608
    8388608+0 records in
    8388608+0 records out
    68719476736 bytes (69 GB) copied, 1869.89 seconds, 36.8 MB/s

    real    31m10.343s
    user    0m2.613s
    sys     3m25.548s

    2. 接下来用 Oracle 的 orion 工具来测一下

    解压即可使用
    # gzip orion_linux_x86-64.gz

    测异步IO时需要libaio库
    # export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64
    # echo $LD_LIBRARY_PATH
    :/opt/oracle/product/10.2.0/lib:/usr/lib64

    创建配置文件mytest.lun,列出要测试的分区即可. 注意文件名前缀要跟下面的 testname一致
    # vi mytest.lun

    查看mytest.jun内容
    # cat mytest.lun
    /dev/sda2

    先来个simple test
    # ./orion_linux_x86-64 -run simple -testname mytest -num_disks 8

    查看测试结果
    # cat mytest_20081111_1431_summary.txt
    ORION VERSION 11.1.0.7.0

    Commandline:
    -run simple -testname mytest -num_disks 8

    This maps to this test:
    Test: mytest
    Small IO size: 8 KB
    Large IO size: 1024 KB
    IO Types: Small Random IOs, Large Random IOs
    Simulated Array Type: CONCAT
    Write: 0%
    Cache Size: Not Entered
    Duration for each Data Point: 60 seconds
    Small Columns:,      0
    Large Columns:,      0,      1,      2,      3,      4,      5,      6,      7,      8,      9,     10,     11,     12,     13,     14,     15,     16
    Total Data Points: 38

    Name: /dev/sda2 Size: 629143441920
    1 FILEs found.

    Maximum Large MBPS=56.97 @ Small=0 and Large=7
    Maximum Small IOPS=442 @ Small=40 and Large=0
    Minimum Small Latency=14.62 @ Small=1 and Large=0

    最大MBPS为56.97，最大IOPS为442

    再测一下8k随机读操作
    # ./orion_linux_x86-64 -run advanced -testname mytest -num_disks 8 -size_small 8 -size_large 8 -type rand &

    看看结果
    # cat mytest_20081111_1519_summary.txt
    ORION VERSION 11.1.0.7.0

    Commandline:
    -run advanced -testname mytest -num_disks 8 -size_small 8 -size_large 8 -type rand

    This maps to this test:
    Test: mytest
    Small IO size: 8 KB
    Large IO size: 8 KB
    IO Types: Small Random IOs, Large Random IOs
    Simulated Array Type: CONCAT
    Write: 0%
    Cache Size: Not Entered
    Duration for each Data Point: 60 seconds
    Small Columns:,      0
    Large Columns:,      0,      1,      2,      3,      4,      5,      6,      7,      8,      9,     10,     11,     12,     13,     14,     15,     16
    Total Data Points: 38

    Name: /dev/sda2 Size: 629143441920
    1 FILEs found.

    Maximum Large MBPS=3.21 @ Small=0 and Large=13
    Maximum Small IOPS=448 @ Small=38 and Large=0
    Minimum Small Latency=15.16 @ Small=1 and Large=0

    最大MBPS为3.21(这么低？？)，最大IOPS为448

    再测一下1M顺序读操作, 失败了, 原因不明...
    # ./orion_linux_x86-64 -run advanced -testname mytest -num_disks 8 -size_small 1024 -size_large 1024 -type seq
    ORION: ORacle IO Numbers -- Version 11.1.0.7.0
    mytest_20081114_1349
    Test will take approximately 73 minutes
    Larger caches may take longer

    rwbase_run_test: rwbase_reap_req failed
    rwbase_run_process: rwbase_run_test failed
    rwbase_rwluns: rwbase_run_process failed
    orion_warm_cache: Warming cache failed. Continuing

    看看结果
    # cat mytest_20081111_1620_summary.txt
    ORION VERSION 11.1.0.7.0

    Commandline:
    -run advanced -testname mytest -num_disks 8 -size_small 1024 -size_large 1024 -type seq

    This maps to this test:
    Test: mytest
    Small IO size: 1024 KB
    Large IO size: 1024 KB
    IO Types: Small Random IOs, Large Sequential Streams
    Number of Concurrent IOs Per Stream: 4
    Force streams to separate disks: No
    Simulated Array Type: CONCAT
    Write: 0%
    Cache Size: Not Entered
    Duration for each Data Point: 60 seconds

    没结果，失败

    3. 用 iozone 来测一下

    # tar -xvf iozone3_345.tar
    # make linux-AMD64

    指定 64G的文件，只测read/reread和write/rewrite，记录大小从4k-16k.同时生成一个excel文件iozone.wks
    # ./iozone -Rab iozone.wks -s64G -i 0 -i 1 -y 4k -q 16k
            Iozone: Performance Test of File I/O
                    Version $Revision: 3.345 $
                    Compiled for 64 bit mode.
                    Build: linux-AMD64

            Contributors:William Norcott, Don Capps, Isom Crawford, Kirby Collins
                         Al Slater, Scott Rhine, Mike Wisner, Ken Goss
                         Steve Landherr, Brad Smith, Mark Kelly, Dr. Alain CYR,
                         Randy Dunlap, Mark Montague, Dan Million, Gavin Brebner,
                         Jean-Marc Zucconi, Jeff Blomberg, Benny Halevy, Dave Boone,
                         Erik Habbinga, Kris Strecker, Walter Wong, Joshua Root,
                         Fabrice Bacchella, Zhenghua Xue, Qin Li.

            Run began: Tue Nov 11 10:23:25 2008

            Excel chart generation enabled
            Auto Mode
            File size set to 67108864 KB
            Using Minimum Record Size 4 KB
            Using Maximum Record Size 16 KB
            Command line used: ./iozone -Rab iozone.wks -s64G -i 0 -i 1 -y 4k -q 16k
            Output is in Kbytes/sec
            Time Resolution = 0.000001 seconds.
            Processor cache size set to 1024 Kbytes.
            Processor cache line size set to 32 bytes.
            File stride size set to 17 * record size.
                                                                random  random    bkwd   record   stride                                 
                  KB  reclen   write rewrite    read    reread    read   write    read  rewrite     read   fwrite frewrite   fread  freread
            67108864       4   72882   69470   104898   125512
            67108864       8   72083   69256   133689   109061
            67108864      16   73375   69155   142019   116034

    iozone test complete.
    Excel output is below:

    "Writer report"
            "4"  "8"  "16"
    "67108864"   72882  72083  73375

    "Re-writer report"
            "4"  "8"  "16"
    "67108864"   69470  69256  69155

    "Reader report"
            "4"  "8"  "16"
    "67108864"   104898  133689  142019

    "Re-Reader report"
            "4"  "8"  "16"
    "67108864"   125512  109061  116034

    可以看到，8k的写是72M/s左右，读是133M/s左右，跟dd的结果比较接近

    测一下64G文件 8k随机读写
    # ./iozone -Rab iozone.wks -s64G -i 2 -y 8k -q 8k
            Iozone: Performance Test of File I/O
                    Version $Revision: 3.345 $
                    Compiled for 64 bit mode.
                    Build: linux-AMD64

            Contributors:William Norcott, Don Capps, Isom Crawford, Kirby Collins
                         Al Slater, Scott Rhine, Mike Wisner, Ken Goss
                         Steve Landherr, Brad Smith, Mark Kelly, Dr. Alain CYR,
                         Randy Dunlap, Mark Montague, Dan Million, Gavin Brebner,
                         Jean-Marc Zucconi, Jeff Blomberg, Benny Halevy, Dave Boone,
                         Erik Habbinga, Kris Strecker, Walter Wong, Joshua Root,
                         Fabrice Bacchella, Zhenghua Xue, Qin Li.

            Run began: Fri Nov 14 15:52:01 2008

            Excel chart generation enabled
            Auto Mode
            File size set to 67108864 KB
            Using Minimum Record Size 8 KB
            Using Maximum Record Size 8 KB
            Command line used: ./iozone -Rab iozone.wks -s64G -i 2 -y 8k -q 8k
            Output is in Kbytes/sec
            Time Resolution = 0.000001 seconds.
            Processor cache size set to 1024 Kbytes.
            Processor cache line size set to 32 bytes.
            File stride size set to 17 * record size.
                                                                random  random    bkwd   record   stride                                 
                  KB  reclen   write rewrite    read    reread    read   write    read  rewrite     read   fwrite frewrite   fread  freread
            67108864       8
    Error reading block at 6501007360
    read: Success

    出错了(??)

    4. 最后用 bonnie++ 测一下

    安装
    # export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64
    # ./configure
    # make
    # make install

    开始测试，默认文件大小是内存的2 倍
    # bonnie++ -d /opt/IOTest/ -m sva17 -u root
    Using uid:0, gid:0.
    Writing with putc()...done
    Writing intelligently...done
    Rewriting...done
    Reading with getc()...done
    Reading intelligently...done
    start 'em...done...done...done...
    Create files in sequential order...done.
    Stat files in sequential order...done.
    Delete files in sequential order...done.
    Create files in random order...done.
    Stat files in random order...done.
    Delete files in random order...done.
    Version 1.03e       ------Sequential Output------ --Sequential Input- --Random-
                        -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
    Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
    sva17           63G 52391  84 35222   7 34323   6 56362  88 131568  10 176.7   0
                        ------Sequential Create------ --------Random Create--------
                        -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
                  files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                     16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
    sva17,63G,52391,84,35222,7,34323,6,56362,88,131568,10,176.7,0,16,+++++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++

    顺序写: 按字符是52391KB/s，CPU占用率84%；按块是35222KB/s，CPU占用率7%
    顺序读: 按字符是56362KB/s, CPU占用率88%；按块是131568KB/s，CPU占用率10%
    随机读写: 176.7次/s，CPU占用率0%
    后两项全是++ (没结果?)

    结论:不同测试工具构建出来的测试环境不同，侧重点也不一样，得到的结果可能相差比较大。

    MBPS:
    dd 和iozone比较接近，读写分别是130+和70+。
    orion读57左右，写没测(会删掉分区内所有文件!)
    bonnie++ 按块读是130左右，写是35左右；按字符读是56左右，写是52左右
    IOPS:
    dd 无结果
    orion 440左右(只读)
    iozone 出错
    bonnie++ 176.7 (读写)

    Sysbench:

    sysbench --test=fileio --file-total-size=30G prepare
    sysbench --test=fileio --file-total-size=30G --file-test-mode=rndrw --init-rng=on --max-time=300 --max-requests=0 run
    sysbench --num-threads=16 --test=fileio --file-total-size=3G --file-test-mode=rndrw prepare

    Linux IO和磁盘IO的检测
    InjeProgram的博客
    09-21 580
    磁盘IO则是指磁盘驱动器与计算机之间的数据读写操作。本文将介绍如何在Linux系统中检测IO和磁盘IO，并提供相应的源代码示例。IO和磁盘IO的检测对于系统性能调优检测对于系统性能调优和故障排查至关重要。本文介绍了在Linux系统中使用iostat、sar和fio这些工具来监测IO和磁盘IO的方法。该命令将每秒钟输出一次磁盘IO统计信息，包括每个设备的读写速率、IO请求等待时间、IO请求处理时间等指标。通过使用不同的配置文件和参数，你可以使用fio进行各种类型的磁盘IO性能测试，以评估系统的IO性能。
    Linux磁盘性能方法以及磁盘io性能分析
    李姓门徒
    02-29 4809
    磁盘性能是衡量计算机系统运行状况的关键因素之一。对于磁盘性能的测试和分析，Fio 和 dd 是两个常用的工具。在这篇文章中，将介绍如何使用 Fio 进行磁盘 I/O 测试，以及如何分析磁盘性能。同时，还会简单介绍 dd 工具的使用。 Fio 是一个灵活的 I/O 测试工具，支持多种工作模式，包括顺序读写、随机读写等。在安装 Fio 时，可以选择通过 yum 或编译源码进行安装。Fio 的测试报告中包含了丰富的信息，包括吞吐量和时延等指标。 除了 Fio 以外，dd 也是一个常用的磁盘测试工具。dd 可以
    linux环境下简单的磁盘性能IO测试
    m0_38004228的博客
    11-06 452
    linux环境下简单的磁盘性能IO测试
    Linux 下磁盘IO 测试
    yasi_xi的专栏
    05-08 1100
    转自：http://www.itokit.com/2012/0612/74387.html dd命令不是一个专业的测试工具，不过如果对于测试结果的要求不是很苛刻的话,平时可以使用来对磁盘的读写速度作一个简单的评估. 另外由于这是一个免费软件,基本上LInux/Unix 系统上都有安装,对于Oracle裸设备的复制迁移,dd工具一般都是首选 在使用前首先了解两个特殊设备 /dev/n
    IOTest
    ld513508088的专栏
    05-09 1305
    import java.io.BufferedReader; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.FileReader; import java.io.FileWriter; import java.io.InputStreamReader; import jav
    IO流字节字符流练习题
    weixin_34320159的博客
    04-04 210
    A:复制文本文件 5种方式(掌握)Test：importjava.io.BufferedReader; importjava.io.BufferedWriter; importjava.io.FileNotFoundException; importjava.io.FileReader; importjava.io.FileWriter; importjava.i...
    linux rapidio测试,Linux 下RapidIO 子系统的分析与实现.pdf
    weixin_36134871的博客
    05-13 563
    Linux 下RapidIO 子系统的分析与实现.pdf第36 卷 第9 期 计 算 机 工 程 2010 年5 月V Computer Engineering ...
    Linux磁盘IO性能测试工具 iozone3-491
    最新发布
    11-20
    iozone是一个文件系统的benchmark工具，可以测试不同的操作系统... 测试的时候请注意，设置的测试文件的大小一定要大过你的内存（最佳为内存的两倍大小），不然linux会给你的读写的内容进行缓存。会使数值非常不真实。
    linux下的CPU、内存、IO、网络的压力测试
    weixin_44767040的博客
    05-21 3555
    linux下的CPU、内存、IO、网络的压力测试 要远程测试其实很简单了，把结果放到一个微服务里直接在web里查看就可以了，或者同步到其他服务器上 一、对CPU进行简单测试： 1、通过bc命令计算特别函数 例：计算圆周率 echo "scale=5000; 4*a(1)" | bc -l -q MATHLIBRARY Ifbcisinvokedwiththe-loption,amathlibraryispreloadedandthedefault...
    LINUX IO 测试总结
    zhengfeilong0606的博客
    11-14 1410
    LINUX IO 总结  磁盘通常是计算机最慢的子系统，也是最容易出现性能瓶颈的地方，因为磁盘离 CPU 距离最远而且 CPU 访问磁盘要涉及到机械操作，比如转轴、寻轨等。访问硬盘和访问内存之间的速度差别是以数量级来计算的，就像1天和1分钟的差别一样。要监测 IO 性能，有必要了解一下基本原理和 Linux 是如何处理硬盘和内存之间的 IO 的。一.linux IO 中断1.缺页中断  内存和硬盘之
    IOTEST.rar
    05-30
    本资源是STC15L104W单片机模以串口的发送信息过程的源代码，是keil uVsion4工程完整代码，所括hex文件，供需要者参考。
    IO测试代码_IOTest.java
    11-12
    https://blog.youkuaiyun.com/m0_56289903/article/details/121286804?spm=1001.2014.3001.5501 的IO测试代码
    iotest:命令行项目的非常简单的黑盒测试
    03-21
    测试 用于测试第一个IOS项目的脚本。 设置 使用tradelog脚本将所有文件复制到一个文件夹中。 用法 要运行测试，请执行以下命令 $ ./iotest ✓ test-cases/01: cat stock-2.log | head -n 5 | ./tradelog ✓ test-cases/02: ./tradelog -t TSLA -t V stock-2.log ✓ test-cases/03: ./tradelog -t CVX stock-4.log.gz | head -n 3 ✓ test-cases/04: ./tradelog list-tick stock-2.log ✓ test-cases/05: ./tradelog profit stock-2.log ✓ test-cases/06: ./tradelog -t TSM -t PYPL profit s
    IO Tests
    qq_38726829的博客
    09-22 164
    一、用Reader模拟LineNumberReader（BufferedReader的子类，所以BufferedReader有的功能，它也具备，比如readLine()），主要包括四大功能：setLineNumber(int lineNumber)，getLineNumber()、readLine()以及close()） 1. 由于lineNumber需要set和get，那么定义一个成员变量li...
    IO性能测试
    weixin_47068446的博客
    01-05 477
    【代码】IO性能测试。
    Java IO test
    weixin_50790275的博客
    11-12 138
    在这里我想看每一轮arr数组储存的字符 输出的却如上图所示，求大佬解答
    linux常用性能观测工具--- IO篇
    u013257767的博客
    03-11 5039
    iostat iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析 yum install sysstat -y rrqm/s： 每秒进行 merge 的读操作数目.即 delta(rmerge)/s wrqm/s： 每秒进行 merge 的写操作数目.即 delta(wmerge)/s .
    温故而知新，轮子iotest
    u011978022的专栏
    05-28 536
    1关于vector迭代器：const和non const型： int main() { cout //编写10个元素的vector对象。用迭代器把每个元素值改为当前值+2. vector ivec(3,8); cout int i=0; for (vector::iterator iter=ivec.begin();iter!=ivec.end();iter++) {
    磁盘io测试工具fio
    weixin_45705773的博客
    09-26 3242
    这段输出详细展示了fio工具在指定参数下的随机写性能测试结果，涵盖了IO速率、延迟、CPU使用率、IO深度等统计数据，帮助用户了解其存储设备在执行随机写操作时的性能表现。
    Linux io测试方法
    07-26
    Linux提供多种方法来进行I/O测试以评估系统的性能。下面展示了其中一种常见的方法： ### 使用 `dd` 命令进行I/O测试 `dd` 是Linux下常用的输入/输出工具，用于读写文件或设备。 #### 示例：使用 `dd` 测试磁盘I/O速度 1. **创建大文件**： - 打开终端。 - 使用 `dd` 命令创建一个大文件。例如，我们创建一个大小为 2MB * 1000 = 2GB 的文件： ```bash $ dd if=/dev/zero of=testfile bs=2M count=1000 oflag=direct ``` 2. **查看操作结果**： -lh testfile ``` 3. **测试读取速度**： - 同样地，可以测试写入速度，但通常情况下读取速度会比写入速度快很多。这里我们展示写入速度的测试： ```bash $ time dd if=testfile of=/dev/null status=none oflag=direct > /dev/null ``` 上述命令将文件 `testfile` 写入到 `/dev/null` 中。`time` 命令用于测量执行时间，这可以帮助您了解系统的实际写入速度。 通过调整 `dd` 命令中的参数 (`if`, `of`, `bs`, `count`)，您可以针对不同的场景定制测试需求，比如测试不同大小的数据块或文件数量。 ### 相关问题： 1. 如何优化Linux系统的I/O性能？ 2. 除了`dd`命令，还有哪些工具可用于Linux I/O测试？ 3. 在多核处理器环境下，如何合理分配I/O任务以提高效率？
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值