Ceph文件系统与原生磁盘读写性能的比较

转载自：http://www.linuxidc.com/Linux/2014-06/102993.htm

一.测试目的

  获取ceph文件系统的读写性能，并与原生磁盘进行比较，使用iozone工具对Ceph文件系统及原先磁盘进行读写的测试

二.硬件及网络环境

  1.硬盘信息

	磁盘（型号，类型，容量）	CPU
客户端	ST1000DM003-1CH162；SATA；1T	Intel(R) Core(TM)  i3-4130  @CPU 3.40GHz
OSD节点	ST3300657SS；SAS；300G	Intel(R) Xeon(R)  @CPU  2.13GHz
MON节点	ST3320620AS；SATA；320G	Intel(R) Pentium(R) D  @CPU 3.00GHz

2.网络环境

    服务器及客户端同处于100兆网络

三.软件环境及测试工具

  1.软件环境

	操作系统
客户端	Ubuntu 12.04.4 LTS
OSD节点	Ubuntu 14.04 LTS
MON节点	Ubuntu 14.04 LTS

  2.测试工具 Iozone3_308

四.测试用例

（一）不同线程下

  1.Ceph文件系统

   使用下面命令测试在不同线程下ceph文件系统读取6G大文件的读写性能。

  测试N线程下读取6G大文件时Ceph文件系统的读写性能。

线程数N	对应的命令
1	./iozone -R -t 1 -F /cephfs-test/testdata -i 0 -i 1 -s 6g
3	./iozone -R -t 3 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 -i 0 -i 1 -s 6g
5	./iozone -R -t 5 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 /cephfs-test/tmp4 /cephfs-test/tmp5 -i 0 -i 1 -s 6g
8	./iozone -R -t 8 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 /cephfs-test/tmp4 /cephfs-test/tmp5 /cephfs-test/tmp6 /cephfs-test/tmp7 /cephfs-test/tmp8 -i 0 -i 1 -s 6g
10	./iozone -R -t 10 -F /cephfs-test/tmp1 /cephfs-test/tmp2 /cephfs-test/tmp3 /cephfs-test/tmp4 /cephfs-test/tmp5 /cephfs-test/tmp6 /cephfs-test/tmp7 /cephfs-test/tmp8 /cephfs-test/tmp9 /cephfs-test/tmp10 -i 0 -i 1 -s 6g

 综合上面输出的结果汇总成一张如下的表格(单位是 kBytes/sec)：

线程数	write	rewrite	read	reread
1	7154.46	7186.29	11352.72	11325.62
3	6857.9	6926.8	11392.98	11405.52
5	8163.09	8177.8	11342.68	11444.18
8	8172.62	8209.53	11481.44	11472.52
10	8133.91	8197.51	11389.92	11440.07

2.原生磁盘

  测试多线程下读取6G大文件原生磁盘的读写性能。

线程数目N	描述
1	./iozone -R -t 1 -F /testdata -i 0 -i 1 -s 6g
3	./iozone -R -t 3 -F /tmp1 /tmp2 /tmp3 -i 0 -i 1 -s 6g
5	./iozone -R -t 5 -F /tmp1 /tmp2 /tmp3 /tmp4 /tmp5 -i 0 -i 1 -s 6g
8	./iozone -R -t 8 -F /tmp1 /tmp2 /tmp3 /tmp4 /tmp5 /tmp6 /tmp7 /tmp8 -i 0 -i 1 -s 6g
10	./iozone -R -t 10 -F /tmp1 /tmp2 /tmp3 /tmp4 /tmp5 /tmp6 /tmp7 /tmp8 ／tmp9 /tmp10 -i 0 -i 1 -s 6g

总结上面的结果（ 单位为 kBytes/sec）：

线程数目	write	rewrite	read	reread
1	149164.94	160567.67	186078.03	163941.91
3	144475.71	133638.73	172043.45	167020.87
5	117251.25	117141.55	145746.82	143699.11
8	114206.11	128078.45	176531.57	176850.37
10	110812.11	110699.5	88225.4	111940.68

根据上面的数据，绘制出下面的折线图。

 

（二）不同文件大小下

1.Ceph文件系统

使用下表中对应的命令测试ceph文件系统，查看读取对应大小的文件时的读写性能。测试对应大小的文件，记录大小为4k，只测试read/reread和write/rewrite.

文件大小	描述
16M	./iozone -R -s 16M -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata
256M	./iozone －R -s 256M -i 0 -i 1 -y 4K -q 4k -f /cephfs-test/testdata
2G	./iozone －R -s 2G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata
4G	./iozone －R -s 4G -i 0 -i 1 -y 4K -q 4k －f /cephfs-test/testdata
6G	./iozone -R -s 6G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata

综合上面的输出结果，得出下面的表格(记录块都为4K，单位为kBytes/sec) ：

文件大小	write	rewrite	read	reread
16M	287534	2650722	3884254	4284575
256M	1448445	2587190	4332678	4165372
2G	9484	9309	110929	65568
4G	8578	8698	11402	11476
6G	8473	8445	11402	11403

2.原生磁盘

使用下表中对应的命令测试原生磁盘，查看读取对应大小的文件时的读写性能。测试下表对应大小的文件，记录块为4k,使用对应的Iozone命令测试原生磁盘的读写性能。

文件大小	描述
16M	./iozone -R -s 16m -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata
256M	./iozone －R -s 256M -i 0 -i 1 -y 4K -q 4k -f /cephfs-test/testdata
2G	./iozone －R -s 2G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata
4G	./iozone －R -s 4G -i 0 -i 1 -y 4K -q 4k －f /cephfs-test/testdata
6G	./iozone -R -s 6G -i 0 -i 1 -y 4k -q 4k -f /cephfs-test/testdata

记录块都为4K，查看其读写性能。单位为kBytes/sec 。

文件大小	write	rewrite	read	reread
16M	2038802	3586647	5570732	5741068
256M	911576	3722894	5722932	5739962
2G	98047	108312	5815922	5842511
4G	88993	92779	173721	185914
6G	90996	89835	174527	181623

根据上面的数据，绘制出下面的折线图。

五.测试结果

下面各图则是在指定条件下，使用柱形图，细至读写的不同方面对在ceph文件系统和原生磁盘的读写性能比较。

（一）不同线程

每个线程下读写6G大文件，查看在多个线程下ceph文件系统及原生磁盘之间读写性能的差异。下面各图是在同一前提下，实施的测试结果，分为4个图，分别是write、rewrite、read、reread在ceph文件系统和原生磁盘中的结果的比较。单位都是 kBytes/sec。

1.write

每个线程下读写6G大文件，查看在多个线程下ceph文件系统及原生磁盘之间write性能的差异。单位为KBytes/sec。

2.rewrite

每个线程下读写6G大文件，查看在多个线程下ceph文件系统及原生磁盘之间rewrite性能的差异。单位为KBytes/sec。

3.read

每个线程下读写6G大文件，查看在多个线程下ceph文件系统及原生磁盘之间read性能的差异。单位为KBytes/sec。

4.reread

每个线程下读写6G大文件，查看在多个线程下ceph文件系统及原生磁盘之间reread性能的差异。单位为KBytes/sec。

（二）不同文件大小

读写对应大小的文件，查看ceph文件系统及原生磁盘之间读写性能的差异。下面各图是在同一前提下，实施的测试结果，分为4个图，分别是write、rewrite、read、reread在ceph文件系统和原生磁盘中的结果的比较。单位为 kBytes/sec。

1.write

读写对应大小的文件，查看ceph文件系统及原生磁盘之间write差异。单位为 kBytes/sec。

2.rewrite

读写对应大小的文件，查看ceph文件系统及原生磁盘之间rewrite差异。单位为 kBytes/sec。

3.read

读写对应大小的文件，查看ceph文件系统及原生磁盘之间read差异。单位为 kBytes/sec。

4.reread

读写对应大小的文件，查看ceph文件系统及原生磁盘之间reread差异。 单位为  kBytes/sec 。