ceph rbd 文件读写测试

最新推荐文章于 2023-07-28 15:50:03 发布
最新推荐文章于 2023-07-28 15:50:03 发布
阅读量908 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： ceph 文章标签： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/signmem/article/details/78711722
本文介绍了一项针对Ceph集群的IO性能测试方案。测试旨在通过调整参数控制读写速度，并评估SSD作为日志盘时的性能瓶颈。实验在特定的Ceph集群环境中进行，使用了多个服务器节点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目的

利用  rbd 文件读写, 对 ceph 集群 io 进行测试
通过参数调整, 控制 IO 读写速度
检测 SSD 在日志盘进行读写时候是否会达到瓶颈

测试环境

ceph 集群环境参考

rbd client 环境如下

服务器名称ip 地址
hh-yun-compute-131203.vclound.com10.199.131.203
hh-yun-compute-131204.vclound.com10.199.131.204
hh-yun-compute-131205.vclound.com10.199.131.205
hh-yun-compute-131207.vclound.com10.199.131.207
hh-yun-compute-131208.vclound.com10.199.131.208
ceph 部署rbd文件系统
明日之星
05-22 493
分布式存储ceph创建RBD接口 —、RBD介绍 RBD全称为RADOS Block Device，是一种构建在RADOS集群之上为客户端提供块设备接口的存储服务中间层。这类的客户端包括虚拟机KVM和云计算操作系统OpenStack、CloudStack等。RBD为条带化，支持存储空间的动态扩容等特性，并可以借助RADOS实现快照，副本和一致性。客户端访问RBD 有两种方式。 通过内核模块rbd.ko将镜像映射为本地块设备，通常设置文件一般为：/dev/rbd* 另一种是通过librbd接口，KV
Ceph RBD块存储详解
最新发布
悦分享
01-21 521
块存储接口通常以 QEMU Driver 或者 Kernel Module 的方式存在，这种接口需要实现 Linux 的 Block Device 的接口或者 QEMU 提供的 Block Driver 接口，如 Sheepdog，AWS 的 EBS，青云的云硬盘和阿里云的盘古系统，还有 Ceph 的 RBD（RBD是Ceph面向块存储的接口）。块存储将信息存储在固定大小的块中，每个块都有自己的地址，可以在块设备的任意位置读取一定长度的数据。以hd开头的块设备文件对应的是IDE接口的硬盘。
Ceph性能测试（RBD、CephFS、NFS、Cache Tier）
热门推荐
刘康的专栏
08-19 1万+
本文是以下两篇文章的后续： 探索fio参数如何选择以及全方位对比HDD和SSD性能：部署Ceph前测试磁盘性能，同时基于fio测试参数的变化深入了解fio原理和磁盘IO特点。 CentOS8使用cephadm部署和配置Ceph Octopus：在CentOS8上使用cephadmin进行Ceph Octopus版本的部署，以及RBD、CephFS、NFS、RGW等的配置。 准备工作 首先，单独准备一台测试节点，起一个CentOS8的虚拟机，配好地址和万兆网络。 确保网络带宽 使用iperf3工具测试.
Ceph RBD功能测试
kaiser king的博客
08-10 900
Ceph RBD功能测试1. 存储池操作1.1 创建存储池1.2 查看存储池参数1.3 修改存储池参数2. 镜像操作2.1 创建镜像2.2 删除镜像2.3 禁止镜像的一些特性3. 块设备操作3.1 块设备映射3.2 格式化3.3 挂载块设备3.4 RBD扩容3.5 主机扩容4. 数据object测试4.1 查看数据object4.2 测试写入数据 1. 存储池操作 1.1 创建存储池 #若少于5个OSD，设置pg_num为128；5-10个OSD，设置pg_num为512；10-50个OSD，设置pg_nu
ceph集群中RBD的性能测试、性能调优
qq_43604376的博客
07-28 3144
RBD性能测试，性能调优
ceph性能测试
吴业亮的专栏
01-02 4253
作者：【吴业亮】 博客：http://blog.youkuaiyun.com/wylfengyujiancheng 一、存储模型 1、如果将存储系统比作一个排队模型 1）、去前台取单号 2）、等待排在你之前的人办完业务 3）、轮到你去某个柜台 4）、柜台职员帮你办完手续1 5）、柜台职员帮你办完手续2 6）、柜台职员帮你办完手续3 7）、办完业务，从柜台离开 2、如何评估银行的效率呢： 服务时间 = 手续1 ...
Ceph学习——Librbd块存储库与RBD读写流程源码分析
SEU_PAN的博客
12-06 1万+
Librbd 包含了rbd的相关操作，并发送给ImageRequestWQ类处理（队列），而后该类将其中的的请求发送给ImageRequest处理，ImageRequest将Image进行**分片（将一个 块 分解成 对象 进行处理，Ceph的底层本质还是对象存储）** 等操作后，将各个对象调用ObjectRequest类进行处理 ，每个ObjectRequest请求分别处理。
Ceph RBD：克隆 + 克隆卷元数据/数据IO详解
easonwx的博客
04-21 3146
文章目录引言克隆概述本文结论克隆的元数据结构创建卷vol_0创建快照vol_0_snap_0创建克隆卷vol_0_snap_0_clone_0克隆卷元数据克隆卷的元数据有哪些？如何找到clone卷对应的原卷？如何找到clone卷对应的快照？如何通过原卷找到clone卷？主要元数据总结创建clone卷流程克隆卷数据创建卷vol_1，写入8M数据创建快照vol_1_snap_0创建克隆卷vol_1_snap_0_clone_0读克隆卷0-1M位置写克隆卷4M-5M位置读写数据总结扁平化创建卷vol_2，写入8M
Ceph RBD：perfcounter + prometheus性能统计
easonwx的博客
06-12 840
Perfcounter是在RBD IO处理过程中进行的性能统计，以累加的方式进行，包括IO数量、总计时延、总计带宽等，用户可根据计算得到某一时间段内的IOPS、平郡时延、平均带宽等性能统计数据，这些数据可用户性能展示或性能问题定位。本文基于Ceph N版本进行说明。下文主要基于代码流程进行介绍。在rbd_open流程中进行perfcounter注册。 Daemon注册 RBD client的使用者在rbd_open之后，需要向ceph-mgr注册daemon，才能正常通过promethues进行统计。 1、
linux nfs挂载 测速,CentOS下使用fio测试挂载了CEPH rbd磁盘的读写性能|4k随机/顺序读写...
weixin_34737066的博客
05-15 1567
背景简介继续上文的ceph性能调整，有兴趣的可以看看：使用rbd bench/bench-write自带测速工具和fio对ceph image进行性能测试|测速跑分文章目录[隐藏] 前言 集群配置 开始测试 前言 最近在折腾CEPH集群，测试环境是4台ceph物理节点，每台8~12个SATA/SAS机械硬盘，共43个OSD。性能远低于预期，目前正在调整配置中…… 正好实测了一下性能，这里分享出来大...
ceph详细中文文档
01-16
Ceph 存储集群至少需要1 个Ceph Monitor 和2 个OSD 守护进程 运行Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。
ceph压力测试结果
12-13
ceph分布式对象存储测试，常用命令以及ceph操作使用
Ceph rbd写入数据
litianze99的专栏
12-29 3757
本文简介rbd中数据的写入过程。
（P8）RBD数据写入流程
喜欢打篮球的普通人
08-23 302
文章目录1.写入流程 1.写入流程 ceph一切都是对象 一个文件FIle，首先会被切割成多个Objects，默认4MB，每个Object都有一个oid PGs：可以理解为装载Objects的文件夹，每个oid做一个hash，然后做一个掩码运算，最终得到一个pgid，看在哪个pg上 执行CRUSH算法（依据CRUSH算法的不同，那么会落入到不同的OSD位置上），将pgid对应到集群中的OSD节点上 参考：Ceph官方文档，Ceph数据写入流程 ...
大话Ceph -- RBD那点事儿
崔炳华
10-23 3995
原文链接：http://www.xuxiaopang.com/2016/10/13/easy-ceph-RBD/ 引言 这篇文章主要介绍了RBD在Ceph底层的存储方式，解释了RBD的实际占用容量和RBD大小的关系，用几个文件的例子演示了文件在RBD(更恰当的是xfs)中的存储位置，最后组装了一个RBD，给出了一些FAQ。 RBD是什么 RBD : Ceph’s R
ceph 集群负载均衡_使用opendatahub oc和外部ceph集群运行您的Spark数据处理工作负载...
weixin_26716079的博客
10-14 702
ceph 集群负载均衡Kubernetes has become the de facto-standard container orchestration platform. With this approach, organizations are trying to gather up all their applications and platforms around Kubernete...
使用ceph的块存储rbd
直到世界的尽头
05-27 8978
CEPH 块设备 块是一个字节序列（例如，一个 512 字节的数据块）。基于块的存储接口是最常见的存储数据方法，它们基于旋转介质，像硬盘、 CD 、软盘、甚至传统的 9 磁道磁带。无处不在的块设备接口使虚拟块设备成为与 Ceph 这样的海量存储系统交互的理想之选。 Ceph 块设备是精简配置的、大小可调且将数据条带化存储到集群内的多个 OSD 。 Ceph 块设备利用 RADOS 的多种能力，...
Ceph入门到实战
08-15
SDS（英文：Software Define Storage）软件定义存储作为新基建（云计算中基础设施建设）重要的一环，Ceph作为未来统一软件定义存储系统，提供了RBD块存储，RGW对象存储和CephFS文件存储接口的接入，本课程结合在企业实践由浅入深多面剖析Ceph存储，一个分为三篇：基础篇、进阶篇和高阶篇，基础篇介绍Ceph的基础概念，Ceph分布式集群部署，RBD块存储的使用，RGW对象存储使用，CephFS文件存储的使用；进阶篇介绍Ceph运维中常见的操作，包括集群扩容，集群管理，CRUSHMAP定制，RBD快照克隆，RBD增量备份与恢复，RGW高可用集群；高阶篇介绍Ceph和kubernetes集成，Ceph与KVM集成，Ceph与openstack云平台集成，SDK开发等内容。备注：本课程以Ceph官方文档为主，不提供资料下载。【【课程大纲】
ceph--磁盘和rbd、rados性能测试工具和方法
weixin_34416754的博客
11-03 835
我在物理机上创建了5台虚拟机，搭建了一个ceph集群，结构如图： 具体的安装步骤参考文档：http://docs.ceph.org.cn/start/ http://www.centoscn.com/CentosServer/test/2015/0521/5489.html 一、磁盘读写性能 1. 单个osd磁盘...
ceph读写性能测试
05-25
对于测试Ceph的读写性能，需要考虑以下几个方面： 1. 网络带宽：Ceph的性能很大程度上受限于网络带宽，因此需要保证网络带宽充足。 2. 存储介质：Ceph支持多种存储介质，包括SSD、HDD等，不同的存储介质对性能的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Terry_Tsang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值