ceph IO 读写流程 串讲

最新推荐文章于 2025-04-29 15:01:24 发布
最新推荐文章于 2025-04-29 15:01:24 发布
阅读量2.3k 收藏 3
点赞数 1
分类专栏： ceph 文章标签： ceph 源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/guzyguzyguzy/article/details/46679097
版权
本文分享了作者针对Ceph的读写流程进行深入研究的心得体会，并通过项目组内部的代码串讲形式进行了交流。文章重点介绍了理解Ceph IO流水线模型的重要性，并提供了串讲使用的PPT下载链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

由于项目需要，最近深入细致的了解了ceph的读写流程，并且跟项目组做了一个代码串讲。附上串讲用的ppt。

个人认为，理解了ceph的io流水线模型，是理解整个io读写流程的关键。

ppt下载链接如下：

http://download.youkuaiyun.com/detail/guzyguzyguzy/8853025

ceph源码 io读写流程分析串讲
06-30
由于项目需要，最近深入细致的了解了ceph的读写流程，并且跟项目组做了一个代码串讲。附上串讲用的ppt。 个人认为，理解了ceph的io流水线模型，是理解整个io读写流程的关键。
Ceph IO流程及数据分布
weixin_44389885的博客
12-19 725
1. Ceph IO流程及数据分布 rados_io_1.png 1.1 正常IO流程图 ceph_io_2.png 步骤： client 创建cluster handler。 client 读取配置文件。 client 连接上monitor，获取集群map信息。 client 读写io 根据crshmap 算法请求对应的主osd数据节点。 主osd数据节...
Ceph IO读写流程详解(一)——RADOSGW
最新发布
weixin_43977379的博客
04-29 873
代码中的RGWOp_ZoneGroupMap_Get就是图中提到的Op，其他的S3请求，swift请求都与之类似，都有对应的manager，handler和执行的Op。从今天起，我将开启一个专题，讲述一个对象是如何从上传rgw到最终落盘的整个过程，期间也会有一些扩展内容，包括一些c++、网络等基础知识，权当作为一个复习吧。下一章节，我们将介绍最重磅的函数rgw_process_authenticated，这是处理Op最重要的函数。本文是以luminous版本进行讲解，虽然经过了迭代，但大体的思路是不变的。
Ceph IO读写流程分析
硅基创想家的博客
02-23 1471
1 Ceph IO 读写流程 2 Ceph IO 流程及数据分布 2.1 Ceph IO 算法流程 2.2 Ceph IO 参考文献 https://www.jianshu.com/p/cc3ece850433
CEPH的写入流程
qq_46497658的博客
09-27 605
茫茫人海，终有相会之时
【ceph】CEPH源码解析：读写流程
小鱼菜鸟的博客
07-22 1365
相同过程 Ceph的读/写操作采用Primary-Replica模型，客户端只向Object所对应OSD set的Primary OSD发起读/写请求，这保证了数据的强一致性。当Primary OSD收到Object的写请求时，它负责把数据发送给其他副本，只有这个数据被保存在所有的OSD上时，Primary OSD才应答Object的写请求，这保证了副...
Ceph 学习——OSD读写流程与源码分析（一）
热门推荐
SEU_PAN的博客
12-08 1万+
消息从客户端发送而来，之前几节介绍了 客户端下 对象存储、块存储库的实现以及他们在客户端下API请求的发送过程（Ceph学习——Librados与Osdc实现源码解析 、 Ceph学习——客户端读写操作分析 、 Ceph学习——Librbd块存储库与RBD读写流程源码分析）。当请求被封装后，通过消息发送模块（Ceph学习——Ceph网络通信机制与源码分析）将请求及其相关信息发送到服务端实现真正的
Ceph写流程
硅基创想家的博客
02-23 235
1. 与读流程的共用流程 写流程相比读流程复杂的3个方面 参考文献： http://bean-li.github.io/ceph-write-flow/ http://bean-li.github.io/ceph-write-log/
ceph 写流程（1）
shuningzhang的专栏
05-15 3417
前言 前面花了两篇博客的篇幅介绍了读流程。写流程和读流程相比，有大量的流程走向是公用的，我将这些公共的流程总结如下： 对于读流程而言，相对比较简单，这也是我们先介绍读流程的原因。先设置一个小目标，达成之后，对总体的大目标也有好处，相当于将大任务分解成了几个小任务。 从 execute_ctx 开始，读写流程开始严重的分叉，下图是读流程的流程图 写流程的三个侧面 写流程之所以比...
ceph架构及 IO流程
neo949332116的博客
03-03 1081
CEPH是由多个节点构成的集群，它具有良好的可扩展性和可靠性。节点之间相互通信以达到： 存储和检索数据 数据复制 监控集群的健康状况 保证数据的完整性 检测故障并恢复 基本架构如下图： 分布式对象存储系统RADOS是CEPH最为关键的技术，主要由OSD和Monitor组成。 CEPH是一个完全无中心架构的计算模式的存储系统。client通过设备映射关系计算出其写入数据的位置，这样client可以直接与存储节点通信，从而避免中心节点的性能瓶颈。很厉害的样子，身为写IO，感...
ceph读写流程
05-16
消息封装 在OSD上发送和接收信息。有两类： 1.cluster_messenger -与其它OSDs和monitors沟通 2.client_messenger － 与客户端沟通 消息调度 Dispatcher类，主要负责消息分类 工作队列 1. OpWQ: 处理ops（从客户端）和sub ops（从其他的OSD）。运行在op_tp线程池。 2. PeeringWQ: 处理peering任务，运行在op_tp线程池。 3. CommandWQ:处理cmd命令，运行在command_tp。 4. RecoveryWQ: 数据修复，运行在recovery_tp。 5. SnapTrimWQ: 快照相关，运行在disk_tp。 6. ScrubWQ: scrub，运行在disk_tp。 7. ScrubFinalizeWQ: scrub，运行在disk_tp。 8. RepScrubWQ: scrub，运行在disk_tp。 9. RemoveWQ: 删除旧的pg目录。运行在disk_tp。
Ceph IO 路径和性能分析-王豪迈
09-21
独立开源软件开发者王豪迈分享《Ceph IO 路径和性能分析》
ceph块存储io流程（块存储业务如何下发到osd）
weixin_45651247的博客
09-14 181
http://www.360doc.com/content/17/0814/15/46248428_679130733.shtml
Ceph 数据读写过程
lhc121386的博客
02-01 3096
Ceph的读/写操作采用Primary-Replica模型，客户端只向Object所对应OSD set的Primary OSD发起读/写请求，这保证了数据的强一致性。当Primary OSD收到Object的写请求时，它负责把数据发送给其他副本，只有这个数据被保存在所有的OSD上时，Primary OSD才应答Object的写请求，这保证了副本的一致性。 写入数据 这里以Object写入为例，假定一个PG被映射到3个OSD上。Object写入流程如图所示。 当某个客户端需要向Ceph集群写入一个File时
ceph OSD写流程
weixin_43763259的博客
03-05 372
Ceph架构原理及IO处理流程
Be_Nice的博客
05-12 1915
1. Ceph架构简介及使用场景介绍 1.1 Ceph简介 Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。 1.2 Ceph特点 高性能 a. 摒弃了传统的集中式存储元数据寻址的方案，采用...
分布式存储Ceph 架构 以及 IO算法流程简介
weixin_53113793的博客
03-14 5703
Ceph 学习分享
Ceph实战（十）：Pool与PG的说明以及Ceph的IO流程
码农飞哥
12-27 2945
本文首先对存储池(pool)做了一个基本介绍，存储池是Ceph存储数据时的逻辑分区，每个pool内部都包含一定数量的PG，接着对PG（Placement Group）做了一个介绍，PG中文名是归置组的意思，可以将PG看做一个逻辑容器，这个容器包含多个对象，同时这个逻辑对象映射多个OSD上。接着介绍了Ceph的IO流程图。其流程有七步，再介绍了Ceph IO算法流程，其流程主要是三步映射。最后，介绍了Ceph操作Pool的常用命令。
ceph io读写测试
05-19
Ceph是一个分布式存储系统，它提供了高可用性、高性能、高扩展性的对象存储和块存储服务。在进行Ceph IO读写测试时，我们通常会使用一些工具来模拟读写操作并收集性能数据，例如： 1. fio：是一种流行的IO基准测试工具，它可以模拟各种读写模式和IO负载，并生成各种性能报告和统计数据。 2. rados bench：是Ceph提供的一个测试工具，用于测试RADOS对象存储性能。它可以测试不同大小、数量和随机性的对象，以及不同的并发访问模式。 3. ceph-bench-tool：是Ceph提供的另一个测试工具，用于测试Ceph集群的全局性能。它可以测试各种读写、复制和恢复操作，并生成各种性能报告和统计数据。 这些测试工具可以帮助我们了解Ceph集群的性能特性、瓶颈和优化空间，从而更好地设计和优化Ceph存储系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值