存储压缩测试

最新推荐文章于 2024-09-18 15:41:55 发布

原创

最新推荐文章于 2024-09-18 15:41:55 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

在进行存储压缩功能测试时，由于常与重删功能结合，测试过程变得复杂。为确保定性测试，需要避免数据重复。本文提出一种方法：了解后端数据切块大小（例如4k），创建4k对齐的文件系统，写入既能被压缩又无法被重删的数据。利用fio或vdbench等工具的参数设定进行定量测试，并通过ISCSI将存储映射到客户端进行文件系统操作。提供了一个创建50000多个4k文件的脚本实例。

存储测试在压缩功能测试时，有些凌乱，因为一般提供压缩功能的存储大多数会提供重删功能，单纯的测试压缩，定性还是定量，使用什么工具等都是一些比较难选择的问题，

比如说，测试压缩时定性测试首先避开重删，那么要求我们写入的数据在存储后端切块后不会有重复数据，如何搞？

下面聊聊一个本办法的思路，

1，后端数据切块多大？如切块4k存储，我们就给他写4k数据，要注意避开一下几点：

①，创建文件系统（需要文件系统4k对齐）

②，写文件内容，但存储文件要有相同的部分，可以被压缩，并且必须有不同的部分，不能被重删

③，借鉴定量工具参数设置办法，手工补充验证确定性（如fio、vdbench等都有较好的压缩测试参数设计，）

满足以上几点，笨而可靠地办法，将存储通过ISCSI等手段映射到客户端，做文件系统

mkfs.xfs xfs默认4k对齐，省心，挂载至测试目录后写文件

使用脚本批量，具体数量根据场景判断，下面提供一个50000+4k文件的脚本，抛砖引玉！

#/bin/bash
#######################################################################
#    the script for compression testing with 4k diffrent files
#
#
#
#######################################################################
if [[ -z $1 || $1 == '-h' ]];then
  echo -e  "None dir input!"
  echo -e  "eg