【存储测试】cosbench存储性能测试工具

原创 已于 2025-04-23 11:23:52 修改 · 1w 阅读 · 39 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#测试工具

于 2020-10-22 18:41:10 首次发布

文章目录

一、前言

参考资料：
https://github.com/intel-cloud/cosbench/blob/master/COSBenchUserGuide.pdf
COSBench测Ceph对象存储：那些网上找不到的细节

1、介绍

cosbench - Cloud Object Storage Beachmark，是Intel开发的一个对象存储基准性能测试工具，支持OpenStack* Swift, Amazon* S3, Amplidata v2.3, 2.5 and 3.1, Scality*, Ceph, CDMI, Google* Cloud Storage, Aliyun OSS对象存储

2、组件

cosbench可以联机测试，主要有以下两个关键组件：

  • driver
    cosbench负载生成器，主要负责工作负载生成，发布针对云对象存储的操作和收集性能统计信息
    可以通过http://{driver-ip}:18088/driver地址访问

  • controller
    cosbench控制器，主要负责协调负载生成器共同执行工作负载，收集来自负载生成器的基准性能测试结果
    可以通过http://{controller-ip}:19088/controller地址访问
    注：controller和driver角色可以部署在同一个节点上

二、安装部署

1、软件包安装

1.1、部署jre环境

下载jre版本包，解压缩至/opt目录下

wget https://javadl.oracle.com/webapps/download/AutoDL?BundleId=242050_3d5a2bb8f8d4428bbe94aed7ec7ae784 -O  jre-8u251-linux-x64.tar.gz
tar -zxvf jre-8u251-linux-x64.tar.gz -C /opt/

配置jre环境变量

echo "export JAVA_HOME=/opt/jre1.8.0_251/" >> /etc/profile
echo "export CLASSPATH=/opt/jre1.8.0_251/lib" >> /etc/profile
echo "export PATH=/opt/jre1.8.0_251/bin:$PATH" >> /etc/profile
source /etc/profile
1.2、安装nmap-ncat

controller和driver之间通信需要依赖nc环境

执行 yum install -y nmap-ncat命令在线安装ncat包

1.3、安装curl

通常情况下，系统默认已经安装curl包
如系统未安装，可通过yum install curl -y命令在线安装

1.4、部署cosbench环境

官方提供的最新版本v0.4.2存在无法启动问题MESSAGE Bundle plugins/cosbench-log4j not found.，具体详见Github-Issues#383
为规避此问题，此处选择的是v0.4.2.c4版本

wget https://github.com/intel-cloud/cosbench/releases/download/v0.4.2.c4/0.4.2.c4.zip
unzip 0.4.2.c4.zip

2、其他调整

2.1、关闭防火墙

使用过程中需要关闭防火墙或者开放指定端口，通过以下任意一种方法均可以

  • 关闭防火墙
    执行systemctl stop firewalld命令即可

  • 开放指定端口
    driver角色需要使用到18089及18088端口
    controller角色需要使用到19089及19088端口

#开放driver角色服务端口
firewall-cmd --zone=public --add-port=18088/tcp --permanent
firewall-cmd --zone=public --add-port=18089/tcp --permanent
systemctl reload firewalld
#开放controller角色服务端口
firewall-cmd --zone=public --add-port=19088/tcp --permanent
firewall-cmd --zone=public --add-port=19089/tcp --permanent
systemctl reload firewalld
2.2、关闭MD5校验功能

参考Github-Issues#320，基于0.4.2.c4版本，读文件测试过程中会出现无法验证下载文件完整性错误（Unable to verify integrity of data download），导致读取测试任务中断（Terminate），故此处关闭S3的MD5校验功能

修改所有节点0.4.2.c4/cosbench-start.sh配置文件，在java后添加参数-Dcom.amazonaws.services.s3.disableGetObjectMD5Validation=true

[root@node241 0.4.2.c4]# cat cosbench-start.sh | grep java
/usr/bin/nohup java -Dcom.amazonaws.services.s3.disableGetObjectMD5Validation=true  -Dcosbench.tomcat.config=$TOMCAT_CONFIG -server -cp main/* org.eclipse.equinox.launcher.Main -configuration $OSGI_CONFIG -console $OSGI_CONSOLE_PORT 1> $BOOT_LOG 2>&1 &

此处，在测试过程中发现如果不关闭MD5校验功能，实际执行读成功率近乎为0，读性能数据也接近为0；关闭MDS校验功能后读成功率为100%，读性能数据正常展示。
在这里插入图片描述

三、配置使用

cosbench工具使用按照流程可分为以下几个步骤：参数配置–服务启动–提交测试–分析结果
示例使用三个节点联机测试，配置示意如下：

节点主机名 节点IP地址 cosbench角色
node241 66.66.66.241 controller、driver
node242 66.66.66.242 driver
node243 66.66.66.243 driver

1、参数配置

controller和driver依赖不同系统配置来启动服务，在启动controller和driver服务时，需要先行定义角色配置

1.1、controller配置

controller在初始化时读取conf/controller.conf配置文件启动控制器服务

[root@node241 0.4.2.c4]# cat conf/controller.conf
[controller]
concurrency=1
drivers=3
log_level=INFO
log_file=log/system.log
archive_dir=archive

[driver1]
name=driver1
url=http://66.66.66.241:18088/driver

[driver2]
name=driver2
url=http://66.66.66.242:18088/driver

[driver3]
name=driver3
url=http://66.66.66.243:18088/driver

  • [controller]

    • concurrency
      默认值为1，表示可以同时执行的工作负载数量
    • drivers
      默认值为1，表示此controller控制的driver数量
    • log_level
      默认值为INFO，可选值为TRACE、DEBUG、INFO、WARN、ERROR，表示日志打印等级
    • log_file
      默认值为log/system.log，表示日志文件存放位置
    • archive_dir
      默认值为archive，表示工作负载结果存放位置，当参数值为archive，则工作负载结果存放于0.4.2/archive目录内

  • [driverx]
    当有多个driver时，第{n}个driver命名为[driver{n}]

    • name
      用于标识driver节点的标签，名称可以自定义
    • url
      访问driver节点的地址
1.2、driver配置

driver在初始化时读取conf/driver.conf配置文件启动负载器服务

[root@node241 0.4.2.c4]# cat conf/driver.conf 
[driver]
name=127.0.0.1:18088
url=http://127.0.0.1:18088/driver
  • [driver]
    • name
      用于标识driver节点的标签，名称可以自定义
    • url
      访问driver节点的地址

2、服务启动

2.1、controller启动

在controller角色节点执行以下命令启动controller

[root@node241 0.4.2.c4]# sh start-controller.sh

#检查controller服务启动情况
[root@node241 0.4.2.c4]# lsof -i:19088
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    30012 root   88u  IPv6 184509      0t0  TCP *:19088 (LISTEN)
[root@node241 0.4.2.c4]# ps -aux | grep 30012
root     30012  0.6  4.2 4585852 165528 pts/0  Sl   15:51   0:06 java -Dcosbench.tomcat.config=conf/controller-tomcat-server.xml -server -cp main/org.eclipse.equinox.launcher_1.2.0.v20110502.jar org.eclipse.equinox.launcher.Main -configuration conf/.controller -console 19089

注：若节点需要同时启动controller和driver角色，也可以使用sh start-all.sh命令启动（start-all.sh=start-driver.sh+start-controller.sh）

2.2、driver启动

在所有driver角色节点执行以下命令启动driver

[root@node242 0.4.2.c4]# sh start-driver.sh

#检查driver服务启动情况
[root@node242 0.4.2.c4]# lsof -i:18088
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    23102 root  100u  IPv6 161668      0t0  TCP *:18088 (LISTEN)
[root@node242 0.4.2.c4]# ps -aux | grep 23102
root     23102  0.2  5.2 4597000 203344 pts/0  Sl   15:12   0:07 java -Dcosbench.tomcat.config=conf/driver-tomcat-server.xml -server -cp main/org.eclipse.equinox.launcher_1.2.0.v20110502.jar org.eclipse.equinox.launcher.Main -configuration conf/.driver -console 18089

3、提交测试

可以使用以下两种方法提交测试（示例测试参数文件为config.xml）

  • 使用命令行接口
    在controller节点cosbench目录下，使用sh cli.sh submit {test.xml}命令提交测试
[root@node241 0.4.2.c4]# sh cli.sh submit conf/config.xml
  • 使用web控制台
    web访问控制台地址http://{controller-ip}:19088/controller，点击submit new workloadsurl，提交测试文件即可
    在这里插入图片描述

4、分析结果

  • 使用命令行接口
    在controller节点cosbench目录下，使用sh cli.sh info命令查看当前运行任务

  • 使用web控制台
    web访问控制台地址http://{controller-ip}:19088/controller，点击对应任务view detailsurl，查看当前运行状态及结果
    在这里插入图片描述

四、选择表达式

1、概述

在测试参数文件中，auth、storage、storage、work定义中支持config属性配置，该属性包含一个可选的参数列表（使用键值对格式表示，如"a=a_val;b=b_val"）
在这里插入图片描述
在这里插入图片描述

  • 在参数列表中，常用的键包括containers、objects、sizes，用来指定如何选择容器、对象、大小

2、选择器

表达式 格式 注释
constant c(number) 仅使用指定数字 一般在常用于对象大小定义,如sizes=c(512)KB，则表示对象大小为512KB
uniform u(min, max) 从（min，max）中均匀选择 u(1,100)表示从1到100中均匀地选取一个数字，选择是随机的，有些数字可能被选中多次，有些数字永远不会被选中
range r(min,max) 从（min，max）递增选择 r(1,100)表示从1到100递增地选取一个数字（每个数字只被选中一次），这通常被用于特殊work（init、prepare、cleanup、dispose）
sequential s(min,max) 从（min，max）递增选择 s(1,100)表示从1到100递增地选取一个数字（每个数字只被选中一次），这通常被用于常规work
histogram h(min1|max1|weight1,…) 它提供了一个加权直方图生成器，要配置它，需要指定一个逗号分隔的桶列表，其中每个桶由一个范围和一个整数权重定义。例如: h(1|64|10,64|512|20,512|2048|30)KB 其中定义了一个配置文件，其中（1,64）KB被加权为10，（64,512）KB被加权为20，（512,2048）KB被加权为30.权重之和不一定是100

注：一般常用的选择器通常为c(number)、u(min,max)、s(min,max)

3、参数组合

基于元素类型和工作类型的选择器有额外的约束，下面两个表列出了允许的组合

  • 元素类型选择器
Key constant (c(num
最低0.47元/天 解锁文章
COS 压测指南
隔壁老瓦的专栏
05-04 1293
COSBench 是一款由 Intel 开源，用于对象存储的压测工具。腾讯云对象存储（Cloud Object Storage，COS）作为兼容 S3 协议的对象存储系统，可使用该工具进行读写性能压测。
【COSBench系列】2. CosBench开发环境配置
SineIO
09-30 1026
CosBench开发环境配置
对象存储测试工具-COSBench-0.4.2.c4.tar.gz
08-14
COSBench 是衡量云对象存储服务性能的基准测试工具。 对象存储是与传统文件系统（例如 NFS）或块设备系统（例如，iSCSI）不同的新兴技术。 Amazon S3 和 Openstack * swift 是着名的对象存储解决方案。 COSBench 现支持： OpenStack* Swift、Amazon* S3、Amplidata v2.3，2.5 和 3.1、Scality*、Ceph、CDMI、Google* Cloud Storage、自定义适配器 （这个版本是稳定版本，安装好java和nc即可直接使用）
【存储】cosbench对象存储测试工具
我的笔记本
04-22 5406
COSBench是一个用于测试对象存储系统的分布式基准测试工具存储集群建立网关,cosbench连接网关，根据用户提交的xxx.xml向集群下IO(网关地址,key,和怎么下IO在配置文件xxx.xml中配置了)下载cosbench：https://github.com/intel-cloud/cosbench工具，放到压力机上，解压。这个时候就可以访问你启动的cosbench了：#替换成实际地址(集群提前创建好网关,客户端(key))样例如下，文章后面会教你怎么写。
【亲测免费】 使用S3-Benchmark优化您的AWS S3存储性能
最新发布
gitblog_00061的博客
11-15 1097
在云存储的世界里，Amazon S3是行业的领导者之一，但如何评估和优化其性能呢？这就是项目的用武之地。这是一个开源工具，专为测量和比较AWS S3实例的读写性能而设计。 ## 项目简介 S3-Benchmark是一个简单易用的命令行工具，它能够生成大量随机数据，并将其上传到S3桶中，然后进行下载，从而测试和分析S3的吞吐量、延迟和并发能力。通过这个过程，您可以了解S3配置对应用程序性能的影响
2020-08-08 cosbench工具使用方法
昨天今天下雨天的博客
08-09 1640
一.Cosbench安装 cosbench是intel开源的针对对象存储开发的测试工具 二.Cosbench安装** 运行环境: 这里我们的系统是Centos7.6 依赖软件: JDK nmap-ncat 安装JDK [root@k8s-01 ~]# yum install java nmap-ncat 通过wget下载,或者直接通过浏览器输入下面的链接下载 [root@k8s-01 ~]# w...
【COSBench系列】3. CosBench源码分析
SineIO
10-03 1355
当我们跳出舒适区，忍受“折磨”的时候，要坚持，咬定青山不放松，最终的海阔天空是内啡肽，不是多巴胺。
Cosbench对象存储测试
kobe24fgy的博客
07-05 1875
1、介绍 cosbench - Cloud Object Storage Beachmark，是Intel开发的一个对象存储基准性能测试工具，支持OpenStack* Swift, Amazon* S3, Amplidata v2.3, 2.5 and 3.1, Scality*, Ceph, CDMI,Google* Cloud Storage, Aliyun OSS对象存储。 组件： cosbench可以联机测试，主要有以下两个关键组件： • driver cosbench负载生成器，主要负责工作负载生
COSBench测试工具
08-31
cosbench测试工具，下载后解压即可使用；用于ceph 对象存储数据读写测试工具；
COSBench 0.4.2版存储性能测试安装包下载
COSBench是一个开源的云存储基准测试工具，用于衡量和比较不同云存储解决方案的性能。它的目的是提供一种易于使用且灵活的基准测试方法，以帮助用户在选择云存储服务或评估现有云存储性能时做出更加明智的决策。 ##...
COSBench 0.4.2.c4：云对象存储性能测试工具
对象存储测试工具COSBench-0.4.2.c4.tar.gz所包含的内容及其相关技术背景，涉及的是现代云计算环境中极为关键的一环——云对象存储系统的性能评估与基准测试。COSBench作为一款专为云对象存储设计的开源基准测试工具...
fio存储性能测试工具
12-20
利用fio测试虚拟机的磁盘性能IOPS。测试项：随机读，随机写，顺序读，顺序写，随机读写的IOPS和IO带宽。
iozone存储性能测试工具
12-20
测试虚拟机IO读写性能，测试顺序写、顺序读、随机写、随机读的吞吐量。
cosbench性能测试
weixin_54413274的博客
12-19 1830
表示执行多少次操作，比如当该值为10，object=(1,00)，那么本来是要创建100个对象，加上totalOps后，就要循环从1-100创建10次，总共创建1000个文件，但是实际上创建出的文件数还是只有100个，像覆盖性创建一样。组件：driver cosbench负载生成器，主要负责工作负载生成，发布针对云对象存储的操作和收集性能统计信息，可以通过http://{driver-ip}:18088/controller地址访问。： 配置bucket的前缀后缀信息。
【ceph】性能测试工具cosbench(1)
runzhliu大数据/容器日记
08-03 854
cosbench 是 intel 开发的对象存储服务的压测工具，从 commit 信息看，已经很久不维护了…这里先告诉大家一个坑，这里的 latest release 版本，也就是 0.4.2 部署是有问题的！！！建议大家用 v0.4.2 release candidate 4 这个版本。 按照 README，安装倒是很简单。 bash start-all.sh + SERVICE_NAME=driver + BOOT_LOG=log/driver-boot.log + OSGI_BUNDLES='cos
cosbench测试工具
杨文平的博客
06-21 1081
衡量云对象存储服务性能的基准测试工具
使用COSBench工具对ceph s3接口进行压力测试
weixin_33698823的博客
09-05 1269
一、COSBench安装 COSBench是Intel团队基于java开发，对云存储的测试工具，全称是Cloud object Storage Bench 吐槽下，貌似这套工具是intel上海团队开发的，竟然没有中文的相关资料。 同所有的性能测试工具一样，COSBench也分控制台和发起请求的driver，且driver可以分布式部署。可以支持swift、s3、Openstack等接口 1...
存储性能测试常用工具记录
lldhsds的专栏
05-30 2755
COSBench 是一款由 Intel 开源，用于对象存储的压测工具。
对象存储测试工具-s3cmd
杨文平的博客
06-20 1679
分块上传：python ./s3cmd-2.1.0/s3cmd put --multipart-chunk-size-mb=10 --signature-v2 put ./1g.tar.gz s3://s3cmd/1g-${i}.tar.gz。本文安装包：https://github.com/s3tools/s3cmd/releases/download/v2.0.2/s3cmd-2.0.2.tar.gz。批量下载文件： python s3cmd get s3://ywp/* ./test/
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值