Ceph IO读写流程分析

已于 2022-04-17 11:47:28 修改
阅读量1.4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： # Ceph原理与实践应用 文章标签： 云计算
于 2019-02-23 22:34:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xidianjiapei001/article/details/87898235
本文深入探讨了Ceph存储系统的架构及其应用场景，详细解析了Ceph的IO流程和数据分布策略，包括Ceph IO算法流程、RBD IO流程以及Pool和PG的分布与扩容机制，为读者提供了一个全面理解Ceph的视角。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 Ceph架构简介及使用场景

2 Ceph IO 流程及数据分布

2.1 Ceph IO 算法流程

2.2 Ceph RBD IO流程

2.3 Ceph Pool, PG分布及扩容

参考文献

  1. https://www.jianshu.com/p/cc3ece850433
ceph架构及 IO流程
neo949332116的博客
03-03 1102
CEPH是由多个节点构成的集群，它具有良好的可扩展性和可靠性。节点之间相互通信以达到： 存储和检索数据 数据复制 监控集群的健康状况 保证数据的完整性 检测故障并恢复 基本架构如下图： 分布式对象存储系统RADOS是CEPH最为关键的技术，主要由OSD和Monitor组成。 CEPH是一个完全无中心架构的计算模式的存储系统。client通过设备映射关系计算出其写入数据的位置，这样client可以直接与存储节点通信，从而避免中心节点的性能瓶颈。很厉害的样子，身为写IO，感...
Ceph 学习——OSD读写流程与源码分析（一）
热门推荐
SEU_PAN的博客
12-08 1万+
消息从客户端发送而来，之前几节介绍了 客户端下 对象存储、块存储库的实现以及他们在客户端下API请求的发送过程（Ceph学习——Librados与Osdc实现源码解析 、 Ceph学习——客户端读写操作分析 、 Ceph学习——Librbd块存储库与RBD读写流程源码分析）。当请求被封装后，通过消息发送模块（Ceph学习——Ceph网络通信机制与源码分析）将请求及其相关信息发送到服务端实现真正的
ceph源码 io读写流程分析串讲
06-30
由于项目需要，最近深入细致的了解了ceph的读写流程，并且跟项目组做了一个代码串讲。附上串讲用的ppt。 个人认为，理解了ceph的io流水线模型，是理解整个io读写流程的关键。
Ceph IO流程及数据分布
weixin_44389885的博客
12-19 737
1. Ceph IO流程及数据分布 rados_io_1.png 1.1 正常IO流程图 ceph_io_2.png 步骤： client 创建cluster handler。 client 读取配置文件。 client 连接上monitor，获取集群map信息。 client 读写io 根据crshmap 算法请求对应的主osd数据节点。 主osd数据节...
ceph IO 读写流程 串讲
guzyguzyguzy的博客
06-29 2414
由于项目需要，最近深入细致的了解了ceph的读写流程，并且跟项目组做了一个代码串讲。附上串讲用的ppt。 个人认为，理解了ceph的io流水线模型，是理解整个io读写流程的关键。 ppt下载链接如下： http://download.youkuaiyun.com/detail/guzyguzyguzy/8849157
Ceph读写流程
weixin_33681778的博客
01-20 610
2019独角兽企业重金招聘Python工程师标准>>> ...
ceph读写流程
05-16
消息封装 在OSD上发送和接收信息。有两类： 1.cluster_messenger -与其它OSDs和monitors沟通 2.client_messenger － 与客户端沟通 消息调度 Dispatcher类，主要负责消息分类 工作队列 1. OpWQ: 处理ops（从客户端）和sub ops（从其他的OSD）。运行在op_tp线程池。 2. PeeringWQ: 处理peering任务，运行在op_tp线程池。 3. CommandWQ:处理cmd命令，运行在command_tp。 4. RecoveryWQ: 数据修复，运行在recovery_tp。 5. SnapTrimWQ: 快照相关，运行在disk_tp。 6. ScrubWQ: scrub，运行在disk_tp。 7. ScrubFinalizeWQ: scrub，运行在disk_tp。 8. RepScrubWQ: scrub，运行在disk_tp。 9. RemoveWQ: 删除旧的pg目录。运行在disk_tp。
ceph io读写测试
05-19
在进行Ceph IO读写测试时，我们通常会使用一些工具来模拟读写操作并收集性能数据，例如： 1. fio：是一种流行的IO基准测试工具，它可以模拟各种读写模式和IO负载，并生成各种性能报告和统计数据。 2. rados bench...
【ceph】CEPH源码解析：读写流程
小鱼菜鸟的博客
07-22 1409
相同过程 Ceph的读/写操作采用Primary-Replica模型，客户端只向Object所对应OSD set的Primary OSD发起读/写请求，这保证了数据的强一致性。当Primary OSD收到Object的写请求时，它负责把数据发送给其他副本，只有这个数据被保存在所有的OSD上时，Primary OSD才应答Object的写请求，这保证了副...
Ceph 数据读写过程
lhc121386的博客
02-01 3146
Ceph的读/写操作采用Primary-Replica模型，客户端只向Object所对应OSD set的Primary OSD发起读/写请求，这保证了数据的强一致性。当Primary OSD收到Object的写请求时，它负责把数据发送给其他副本，只有这个数据被保存在所有的OSD上时，Primary OSD才应答Object的写请求，这保证了副本的一致性。 写入数据 这里以Object写入为例，假定一个PG被映射到3个OSD上。Object写入流程如图所示。 当某个客户端需要向Ceph集群写入一个File时
Ceph IO 路径和性能分析-王豪迈
09-21
独立开源软件开发者王豪迈分享《Ceph IO 路径和性能分析》
ceph 代码分析 读_ceph源码分析之读写操作流程(2)
weixin_29001423的博客
12-23 321
ceph源码分析之读写操作流程(2)上一篇介绍了ceph存储在上两层的消息逻辑，这一篇主要介绍一下读写操作在底两层的流程。下图是上一篇消息流程的一个总结。上在ceph中，读写操作由于分布式存储的原因，故走了不同流程。对于读操作而言：1.客户端直接计算出存储数据所属于的主osd，直接给主osd上发送消息。2.主osd收到消息后，可以调用Filestore直接读取处在底层文件系统中的主pg里面的内容然...
ceph副本数据读写流程详解
大隐隐于野
09-13 942
本文会从更高一点的层次来介绍ceph数据的读写流程，并使用流程图的方式展示，便于阅读与理解。
Ceph OS模块介绍及读写流程分析
changtao381的专栏
10-12 4814
Ceph的os模块，也就是ObjectStore模式，是Ceph对象存储的底层的存储机制。它是单机版的存储。基本功能如下： 1） 提供底层对象的随机读写 2） 保证读写数据的一致性   其功能主要包括以下几个模块： FileStore     ObjectStore是对象存储的接口，主要包括对象读写，对象属性的get和set操作。JournalingObjectStore 继承了O
【ceph学习】ceph如何进行数据的读写（1）
最新发布
陶二先生的专栏
08-28 1325
一个op经过初始化create，设置参数，setxattr，后面交给ioctx进行operate，submit给osdc。下一篇，介绍osdc部分的处理。
Ceph IO简介
litianze99的专栏
05-24 2199
OSD Messenger通过网络层通过OSD的ms_fast_dispatch()方法把接收到的消息分发该osd实例来处理。 OSD::ms_fast_dispatch(Message *m) 1.检测OSDService服务是否已经停止，如果是则丢弃该消息(该对象的引用计数减1 nref.dec()，如果引用计数为0则删除该对象)。 2.OpRequestRef op = op_
ceph的工作流程
abc
03-31 414
数据复制：在Ceph中，对象的副本数可以设置为多个，当数据写入时，Ceph会在不同的存储节点上复制多个副本，以保证数据的可用性和可靠性。副本复制可以在写入时进行，也可以在后台异步进行。Ceph的CRUSH算法可以根据节点的状态和容量等信息来选择最佳的存储节点进行数据恢复。监视器响应：Ceph的监视器收到客户端请求后，会根据对象的元数据信息确定对象的位置，并将对象的位置信息返回给客户端。数据访问：OSD接收到客户端的读写请求后，会访问本地存储设备上的对象数据，并将其返回给客户端或进行写入操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

硅基创想家

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值