Ceph中replicated以及erasure类型pool写性能对比

最新推荐文章于 2023-11-03 16:00:30 发布
最新推荐文章于 2023-11-03 16:00:30 发布
阅读量4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bobpen/article/details/46968507
本文详细介绍了在CentOS 7环境下使用Ceph 0.94.2进行Replicated和Erasure两种类型pool的创建及性能测试过程，通过不同请求大小下的radosbench写性能测试，揭示了Erasure池在大请求大小下的性能优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

操作环境

Centos 7
Ceph 0.94.2

测试方法

分别创建replicated以及erasure类型的pool，通过rados bench进行写性能的测试，而后进行性能对比。

测试步骤

分别创建replicated&erasure类型的pool

[root@mon1 ~]# ceph osd pool ls
rbd
ecpool-0

rbd为系统默认的pool，其类型为replicated，ecpool-0为erasure类型的pool

通过rados bench通过不同请求大小（4K、16K、32K、64K、128K、256K、512K、1M、2M、4M、8M）分别在进行写性能测试

#rados bench 300 -p ecpool -b 4K -t 16 write

测试结果




如上图中，在请求大小越大的时候，erasure相对于replicated的写性能优势越发明显，当请求大小低于32KB时，erasure的写性能略低于replicated。

Ceph实战（十）：Pool与PG的说明以及Ceph的IO流程
码农飞哥
12-27 2958
本文首先对存储池(pool)做了一个基本介绍，存储池是Ceph存储数据时的逻辑分区，每个pool内部都包含一定数量的PG，接着对PG（Placement Group）做了一个介绍，PG中文名是归置组的意思，可以将PG看做一个逻辑容器，这个容器包含多个对象，同时这个逻辑对象映射多个OSD上。接着介绍了Ceph的IO流程图。其流程有七步，再介绍了Ceph IO算法流程，其流程主要是三步映射。最后，介绍了Ceph操作Pool的常用命令。
ceph纠删码性能测试
sinat_36835510的博客
12-23 991
ceph纠删码性能测试 https://github.com/ceph/ceph/tree/master/src/erasure-code/isa ceph RS、Clay、LRC编码计算性能测试 数据块6个，校验块3个，文件大小1MB，迭代次数1000，吞吐率=总时间/总大小，如0.432061s/1024000KB 数据块12个，校验块4个，文件大小1MB，迭代次数1000，吞吐率=总时间/总大小，如0.627676s/1024000KB ceph RS、Clay、LRC单节点损毁
Ceph replication
weixin_33825683的博客
10-23 191
转载于:https://blog.51cto.com/bxuan/1567159
（9）ceph pool 性能测试
binge6687的博客
09-09 567
Ceph包含在rados bench RADOS存储集群上执行性能基准测试的命令。该命令将执行写测试和两种类型的读测试。--no-cleanup在测试读写性能时，该选项很重要。默认情况下，该rados bench命令将删除已写入存储池的对象。留在这些对象后面允许两个读取测试来测量顺序和随机读取性能。 （1）准备工作，清除所有的文件系统缓存[root@node141 mnt]# echo 3 &gt...
ceph 常用命令pool
underzerotem的博客
06-05 851
添加host:for id in {0…19};do ceph osd crush add-bucket bb_host_KaTeX parse error: Expected group after '_' at position 86: …sh move bb_host_̲id root=bb_host_group;done 将osd添加到host下面:for id in {20…39};do ceph osd crush add osd.KaTeX parse error: Expected grou
ceph pool 相关命令
天行健，地势坤
12-09 1058
文章目录Pool创建ec pool创建副本pool创建Pool参数创建根故障域及添加osd其他命令Tier相关 Pool创建 ec pool创建 创建profile ceph osd erasure-code-profile set $profile_name k=$k m=$m crush-failure-domain=host crush-root=$group_name 创建规则 c...
Ceph 中Pool、PG、OSD的关系
专注基础架构领域
01-31 6355
Pool是存储对象的逻辑分区，它规定了数据冗余的类型和对应的副本分布策略；支持两种类型：副本（replicated）和 纠删码（ Erasure Code）；目前我们公司内部使用的Pool都是副本类型（3副本）； PG（ placement group）是一个放置策略组，它是对象的集合，该集合里的所有对象都具有相同的放置策略；简单点说就是相同PG内的对象都会放到相同的硬盘上； PG是 ceph的...
ceph创建pool
炮哥技术分享
01-22 9623
概述 一个ceph集群可以有多个pool，每个pool是逻辑上的隔离单位，不同的pool可以有完全不一样的数据处理方式，比如Replica Size（副本数）、Placement Groups、CRUSH Rules、快照、所属者等。 正文 查看现有pool列表，删除默认的pool ceph osd lspools 删除默认pool rbd rados rmpool rbd rbd --yes-...
ceph的pool创建流程--代码分析
carny的博客
08-18 6818
ceph中的pool有两种类型：replicated pool和erasure pool 这里从rados接口开始跟踪分析一下pool的创建过程 一、rados接口部分 1、rados里创建pool的接口是（librados.cc） int librados::Rados::pool_create(const char *name); int librados::Rados::p
CEPH POOL MIGRATION
NLP家的码奴小荷的博客
04-12 2135
CEPH POOL MIGRATION从一个资源池迁移到另一个资源池，特别是资源池参数不可修改的，
ceph 查看是否在恢复_Ceph的最佳实践
weixin_34243541的博客
11-28 1037
背景最近在做个对象存储，基于ROOK项目，简而言之，就是使用Rook提供的K8s operator，基于K8s cluster部署Ceph服务。部署将Rook项目克隆到本地，使用里面的k8s/ceph目录。1，部署CRDkubectl apply -f common.yaml2，部署operatorkubectl apply -f operator.yaml3，部署Ceph clusterclus...
干货｜非常详细的 Ceph 介绍、原理、架构
infi
01-15 2814
作者：李航 原文：https://www.jianshu.com/p/cc3ece850433 1. Ceph架构简介及使用场景介绍 1.1 Ceph简介 Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云...
ceph学习笔记之五 Pool与映射过程
weixin_33692284的博客
07-26 314
Pool Pool是一个抽象的存储池，它规定了数据冗余的类型以及对应的副本分布策略。目前实现了两种Pool类型：Replicated类型和Erasure Code类型。一个Pool由多个PG构成。对象映射过程 对象映射过程指的是查找对象在集群中分布的位置信息，其过程分为两步：A、对象到PG的映射。这个过程是静态HASH映射（加入PG Split后实际变成了动态HASH映射...
Ceph的纠删码特性 EC（Erasure Code）代码流程
大隐隐于野
08-31 958
把N+M份数据分别保存在不同的设备或者节点中，并通过N+M份中的任意N份数据块还原出所有数据块。SHEC编码方式为SHEC（K，M，L），其中K代表原始数据块data chunk的数量，M代表校验块parity chunk的数量，L代表计算校验块parity chunk时需要的原始数据块data chunk的数量。其最大允许失效的数据块为：ML/K。以SHEC（10，6，5）为例，其最大允许失效的数据块为：M(6) * L(5)/ K(10 ) = 3，且当一个数据块失效时，只读取5个数据块就可以恢复。
Ceph 进阶系列（四）：Ceph的纠删码特性 EC（Erasure Code）
Yannick Jiang 的专栏
08-22 9724
从GitHub上Clone Ceph项目，我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的 一、EC（Erasure Code）是什么？ Ceph的纠删码特性EC：将写入的数据分成N份原始数据，通过这N份原始数据计算出M份效验数据。把N+M份数据分别保存在不同的设备或者节点中，并通过N+M份中的任意N份数据块还原出所有数据块。EC包含了编码和解码两个过...
ceph纠删码_ec笔记
ssbandjl的博客
11-03 671
【代码】ceph纠删码_ec笔记。
ceph 存储池
zyqash的博客
10-30 613
在Ceph中，"副本池"（Replicated Pool）是一种数据存储池，它使用数据的完全复制策略来保障数据的冗余和可用性。纠删码池是与传统数据池（data pool）不同的一种池，它使用纠删码技术来提供数据的冗余和容错能力，而不是采用复制数据的方式。存储效率：相对于传统的副本复制方式，纠删码池可以更高效地使用存储空间，因为它不需要在多个存储节点上存储完全相同的数据副本，而只需存储少量的冗余数据片段。不同的池类型适用于不同的数据冗余和性能需求，所以你应该根据你的具体需求来选择适当的池类型。
【ceph】CRUSH算法的原理与实现|File-＞Object-＞PG-＞OSD的映射方法
bandaoyu的note
12-21 3194
https://zhuanlan.zhihu.com/p/59317425 0. 前言 本文主要面向对Ceph及分布式系统有一定了解基础的同学；新入坑的读者可以先从Ceph文档官网获取基本信息。 1. 背景 在分布式存储系统中，数据的位置存放规则一直是研究的热门话题之一。一般来说，系统中所有角色（Clients、Servers）需要有一个统一的数据寻址算法Locator，满足： Locator(ID) -> [Device_1, Device_2, Device_3, ...] 其中输
y9.第一章 Ceph企业级存储实战进阶 -- Ceph 集群应用基础(九)
Raymond的博客
05-16 346
4.6 存储池、PG 与CRUSH 副本池:replicated，定义每个对象在集群中保存为多少个副本，默认为三个副本，一主两备，实现高可用，副本池是ceph 默认的存储池类型。 纠删码池(erasure code): 把各对象存储为N=K+M 个块，其中K 为数据块数量，M 为编码快数量，因此存储池的尺寸为K+M。 即数据保存在K 个数据块，并提供M 个冗余块提供数据高可用，那么最多能故障的块就是M 个，实际的磁盘占用就是K+M 块，因此相比副本池机制比较节省存储资源，一般采用8+4机制，即8 个数据块+
ceph共享存储
最新发布
06-13
### Ceph共享存储的配置与使用指南 Ceph是一种统一的分布式存储系统，能够同时提供块设备存储、文件系统存储和对象存储三种接口[^1]。在配置和使用Ceph共享存储时，需要了解其架构设计、部署步骤以及具体的应用场景。 #### 1. Ceph共享存储的基本概念 Ceph通过RADOS（Reliable Autonomic Distributed Object Store）实现了底层的数据分布和管理机制。RADOS支持数据的多副本存储、自动故障检测和修复功能，确保了高可靠性和高可用性[^2]。对于共享存储的需求，Ceph主要通过以下几种方式实现： - **对象存储（S3/Swift接口）**：适用于云存储场景，支持大规模数据的存取。 - **块设备存储（RBD）**：适用于虚拟化环境，如KVM或OpenStack中的虚拟机磁盘。 - **文件系统存储（CephFS）**：适用于需要POSIX兼容性的场景，例如分布式文件共享。 #### 2. 配置Ceph共享存储的步骤 以下是配置Ceph共享存储的主要步骤： ##### (1) 部署Ceph集群 使用`ceph-deploy`工具可以快速部署Ceph集群。以下是创建OSD和管理服务的基本命令[^3]： ```bash # 创建OSD ceph-deploy osd create --data /dev/sdb storage01 ceph-deploy osd create --data /dev/sdb storage02 ceph-deploy osd create --data /dev/sdb storage03 # 部署管理服务 ceph-deploy mgr create storage01 storage02 storage03 ``` ##### (2) 创建存储池 存储池是Ceph中用于组织数据的基本单位。根据需求创建不同用途的存储池： ```bash # 创建存储池 ceph osd pool create vms 32 ceph osd pool create images 32 ceph osd pool create volumes 32 # 设置PGP数量 ceph osd pool set vms pgp_num 32 ceph osd pool set images pgp_num 32 ceph osd pool set volumes pgp_num 32 ``` ##### (3) 验证集群状态 通过以下命令验证Ceph集群的状态是否正常： ```bash ceph -s ``` 如果输出显示`HEALTH_OK`，则表示集群运行正常[^3]。 ##### (4) 配置对象存储（可选） 如果需要使用S3接口，可以通过Ceph的Rados Gateway（RGW）实现。以下是启用RGW的示例配置[^4]： ```yaml [client.rgw.<hostname>] rgw frontends = "civetweb port=80" ``` 启动RGW服务后，可以通过S3客户端测试连接： ```bash kubectl apply -f path/to/example_pod.yaml kubectl get pods kubectl exec -it <example-pod-name> sh ls -la /var/s3 ``` #### 3. 使用Ceph共享存储的最佳实践 - **选择合适的存储池类型**：根据应用场景选择适合的存储池类型（replicated或erasure-coded），以平衡性能和成本[^2]。 - **优化PG数量**：PG（Placement Group）的数量应根据集群规模进行调整，通常建议每OSD分配50~100个PG。 - **监控与维护**：定期检查集群健康状态，并利用Ceph提供的工具（如Prometheus和Grafana）进行监控。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值