ceph资源池pool管理

最新推荐文章于 2024-11-13 14:47:35 发布
原创 最新推荐文章于 2024-11-13 14:47:35 发布 · 1.5k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#缓存

之前我们已经完成了 Ceph 集群的部署，但是我们如何向 Ceph 中存储数据呢？

  • 首先我们需要在 Ceph 中定义一个 Pool 资源池。

  • Pool 是 Ceph 中存储 Object 对象抽象概念。

  • 我们可以将其理解为 Ceph 存储上划分的逻辑分区，Pool 由多个 PG 组成；而 PG 通过 CRUSH 算法映射到不同的 OSD 上；同时 Pool 可以设置副本 size 大小，默认副本数量为 3。

一个pool资源池应该包含多少PG数？

OSD总数 官方推荐PG数
小于5个 128
5-10个 512
10-50个 4096
大于50个 参考公式（TargetPGsPerOSD,OSDNumber,DataPercent)/PoolReplicatesize

TargetPGsPerOSD:   每个OSD对应的PG数

OSDNumber：当前OSD总数

DataPercent：当前Pool预计会占用的Ceph集群总空间百分比

PoolReplicatesize：当前pool的副本数

例如：100 * 60 * 50% / 3 = 1000 —> 取最接近2的次方值1024

ceph操作

1.创建存储池

ceph osd pool create <存储池名> <PG数&g
最低0.47元/天 解锁文章

200万优质内容无限畅学
Ceph入门与精通-Ceph Pools（存储池）
隔壁老瓦的专栏
04-19 2289
快照：当您使用 ceph osd pool mksnap 创建快照时，您可以有效地拍摄特定池的快照。要将数据组织到池中，您可以列出、创建和删除池。您还可以查看每个池的利用率统计信息。
Ceph：关于Ceph 集群中池管理的一些笔记(9)
山河已无恙
06-17 1641
对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》
（ceph）资源池poll管理
weixin_60917414的博客
07-17 1060
我们可以将其理解为 Ceph 存储上划分的逻辑分区，Pool 由多个 PG 组成；Ceph 客户端向 monitor 请求集群的状态，并向 Pool 中写入数据，数据根据 PGs 的数量，通过 CRUSH 算法将其映射到不同的 OSD 节点上，实现数据的存储。PG (Placement Group)，pg 是一个虚拟的概念，用于存放 object，PGP(Placement Group for Placement purpose)，相当于是 pg 存放的一种 osd 排列组合。#查看资源池副本的数量。
Ceph Pool操作总结
热门推荐
mark's technic world
05-02 1万+
Ceph Pool操作总结一个ceph集群可以有多个pool，每个pool是逻辑上的隔离单位，不同的pool可以有完全不一样的数据处理方式，比如Replica Size（副本数）、Placement Groups、CRUSH Rules、快照、所属者等。打印pool列表ceph osd lspools 创建pool通常在创建pool之前，需要覆盖默认的pg_num，官方推荐：若少于5个OSD， 设...
ceph pool
bingzhilingyi的博客
06-04 1163
pool的好处 1. 弹性：由于pool可以设置副本数，所以可以容忍一定数量的osd失效。 2. pg：可以设置pool的最大pg数量。一般来说，每个osd建议设置100pg，但是pg总数要除以副本数。例如，有10个osd，size设置为4，那么pg应该设置为（100*10）/4=250 3. 自定义crush rules 4. 快照：可以为pool设置快照，获取特定时期的状态 列出...
Ceph资源池pool管理
2402_83805984的博客
07-10 850
【代码】Ceph资源池pool管理。
分布式存储之 ceph 管理操作
lxplxplike的博客
07-18 1232
我们已经完成了 Ceph 集群的部署，但是我们如何向 Ceph 中存储数据呢？首先我们需要在 Ceph中定义一个 Pool 资源池。Pool 是 Ceph 中存储 Object 对象抽象概念。我们可以将其理解为 Ceph存储上划分的逻辑分区，Pool 由多个 PG 组成；而 PG 通过 CRUSH 算法映射到不同的 OSD 上；同时 Pool 可以设置副本 size 大小，默认副本数量为 3。
第⑯讲：Ceph集群Pool资源池管理以及PG的数据分布的核心技术要点
江晓龙的博客
04-23 2199
如果一个Pool资源池中的PG数量很多，就意味着会通过CRUSH算法将Object数据分散写入到更多的OSD中，数据分散存储在OSD的数量越多，对于数据的安全性就越高，相反，如果Pool中的PG数量过少，那么通过CRUSH算法将数据分散存储到OSD的数量就越少，数据的丢失概率就会很高。在使用公式计算PG的数量时，建议使用OSD*200，可以方便后期的数据量的扩展，随着数据量的增长，PG的数量也需要增长，如果一开始设置的数量很多，再后期就不需要扩容了。例子：集群有200个OSD，Pool资源池的副本数为3。
Ceph分布式存储集群Pool资源池的概念以及使用
m0_60721514的博客
06-09 426
Pool资源池的官方文档：https://docs.ceph.com/en/pacific/rados/operations/pools/#create-a-poolPool资源池是Ceph存储数据的逻辑分区，起到Namespace命名空间的作用，不同的客户端可以去使用不同的Pool资源池存储数据，Pool除了可以隔离数据之外，还可以针对不同的Pool资源池设置不同的优化策略，比如副本数、数据清洗次数、数据块及对象大小等等。在Pool资源池中会包含一定数量的PG，PG里的对象会被存储在不同的OSD中，Poo
ceph 运维操作 - POOL
li4528503的博客
05-26 1126
ceph 运维操作 - POOL 1. 说明 1.1 介绍 pool 是 ceph 存储数据时的逻辑分区，它起到 namespace 的作用。其他分布式存储系统，比如 Mogilefs、Couchbase、Swift 都有 pool 的概念，只是叫法不同。 每个 pool 包含一定数量的 PG，PG 里的对象被映射到不同的 OSD 上，因此 pool 是分布到整个集群的。 2. 常用操作 2.1 查看 pool 数量 $ ceph osd lspools 1 rbd,2 test_data,3 test_m
ceph学习资源
01-15
很专业的ceph专业书籍，很有学习价值，建议作为工具书籍学习
Ceph学习资源多合一
03-26
Ceph Cookbook.pdf、Learning Ceph(2nd).pdf、Packt Mastering Ceph.pdf、Ceph分布式存储实战.pdf
ceph中pool的管理
weixin_34245169的博客
04-20 941
1、创建pool 创建ceph pool的命令如下，它的参数包括pool名字、PG和PGP的数量。 若少于5个OSD， 设置pg_num为128。 5~10个OSD，设置pg_num为512。 10~50个OSD，设置pg_num为4096。 ceph osd pool create mytest 128 128 pool 'mytest' created 2、列出所有pool...
Ceph分布式存储：资源池Pool的管理与MDS、RBD、RGW接口的部署
m0_74170357的博客
10-16 1826
Pool 数据池/资源池/存储池，可理解成一个存放PG的命名空间一个Pool可以多个PG不同Pool的PG可以同名CephFS（Ceph文件系统）是Ceph存储集群中用于支持分布式文件存储的组件。MDS（Metadata Server）是CephFS的元数据服务器，它负责管理文件系统的元数据，包括目录结构、文件属性和权限等信息。CephFS的MDS接口提供了用户与Ceph存储集群中的元数据服务器进行交互的方式，实现对分布式文件系统的访问和管理。
一起来学ceph 02.ceph pool
隔壁小翔
07-13 1091
ceph pool 环境 192.168.126.101 ceph01 192.168.126.102 ceph02 192.168.126.103 ceph03 192.168.126.104 ceph04 192.168.126.105 ceph-admin 192.168.48.11 ceph01 192.168.48.12 ceph02 192.168.48.13 ceph03 192....
ceph 运维操作-POOL
weixin_44389885的博客
12-05 1339
1.说明 1.1介绍 pool是ceph存储数据时的逻辑分区，它起到namespace的作用。其他分布式存储系统，比如Mogilefs、Couchbase、Swift都有pool的概念，只是叫法不同。 每个pool包含一定数量的PG，PG里的对象被映射到不同的OSD上，因此pool是分布到整个集群的。 2. 常用操作 2.1 查看pool数量 $ ceph...
Ceph集群中指定OSD 创建 pool
Free雅轩的博客
10-10 1062
在我们的ceph集群中，可能不只有sata盘或者ssd盘，有些时候服务器上同时插了ssd和sata盘用作osd，那如果我们按照默认的crush分布规则，那会使所有pg均分在ssd和sata盘上，造成sata盘的存储空间浪费和整个ceph集群的性能浪费，其实我们可以改变ceph的默认存储规则，来使那些io要求较高的数据存储在由ssd的osd组成的存储池上，将备份数据或者时效性要求不高的数据存储在由sata的osd组成的存储池上，既提高了性能，又可以减少较大数据量存储的成本。查看crush_rule为0。
Ceph的pool有两种类型
zuopiezia的博客
11-13 654
这是Ceph的默认存储池类型。它通过生成对象的多份拷贝来确保数据的冗余和高可用性。
ceph每个节点ceph 存储池大小
最新发布
02-15
在Ceph存储系统中，存储池（pool）是组织和管理数据的基本单位之一。每个存储池定义了一系列属性和规则，决定了该池内对象如何分布、复制以及被访问的方式。关于“每个节点的存储池大小”的说法并不准确，因为在Ceph中，存储池的概念并不是针对某个特定节点而言，而是跨越整个集群的所有OSD（Object Storage Device）。不过，我们可以从以下几个方面来理解与解释这个问题： ### 1. **存储池容量** - **全局视角**：存储池的总容量是由所有属于它的PGs（Placement Groups）所占用的空间汇总而成，而这些PG分布在集群内的各个OSD上。因此，实际上并没有所谓某一个单一节点上的存储池大小。 - **平均分布**：理论上讲，在理想的均匀分配情况下，每个OSD都会拥有大约相同比例的存储池数据份额。 ### 2. **OSD的实际使用情况** 每个OSD都有各自的物理磁盘空间限制，当我们将新数据写入某一存储池时，Ceph会依据CRUSH算法选择合适的OSDs来存放对应的对象副本或EC片段。这意味着某些热门的OSD可能会承载更多的数据量，导致实际使用的空间比例有所差异。 ### 3. **查看存储池的状态** 如果你想了解当前各存储池在整个集群中的占用状况，可以使用`ceph df`命令获取概览信息；若想进一步深入探究具体到每一个OSD级别的详情，则可通过`ceph osd df`命令来进行查询。这可以帮助管理员评估是否存在不均衡的问题，并采取相应的措施加以调整平衡度。 ```bash # 查看所有存储池的整体使用情况 $ ceph df # 查看每个OSD的具体使用率 $ ceph osd df ``` ### 4. **优化建议** - **定期监控和调优**：为了维持良好的性能水平和服务质量，建议定期检查各个OSD的工作负载是否过度集中于少数几个设备之上。 - **合理规划存储布局**：根据业务需求提前做好容量预估并设置适当的冗余策略如增加新的OSD或将部分冷门数据迁移到低速介质上来缓解压力热点区域的压力。 总结来说，“每个节点的存储池大小”这一表述容易引起误解——我们应该关注的是整个Ceph集群层面下各个存储池是如何共享资源并在不同OSD间分散开来而不是局限在一个固定地点谈其规模大小。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值