ceph源码分析之读写操作流程（2）

最新推荐文章于 2024-08-28 15:51:35 发布

ywy463726588

最新推荐文章于 2024-08-28 15:51:35 发布

阅读量6.1k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： ceph

本文链接：https://blog.youkuaiyun.com/ywy463726588/article/details/42679869

本文深入探讨Ceph分布式存储系统的读写操作流程。在读操作中，客户端直接与主OSD交互，主OSD通过Filestore从底层文件系统读取数据。而写操作更为复杂，包括数据预处理、主OSD与从OSD间的同步、Journal的使用等。整个过程中涉及多线程、回调函数和消息队列的协调工作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上一篇介绍了ceph存储在上两层的消息逻辑，这一篇主要介绍一下读写操作在底两层的流程。下图是上一篇消息流程的一个总结。

上

在ceph中，读写操作由于分布式存储的原因，故走了不同流程。

对于读操作而言：

1.客户端直接计算出存储数据所属于的主osd，直接给主osd上发送消息。

2.主osd收到消息后，可以调用Filestore直接读取处在底层文件系统中的主pg里面的内容然后返回给客户端。具体调用函数在ReplicatedPG::do_osd_ops中实现。

读操作代码流程如图：

如我们之前说的，当确定读操作为主osd的消息时（CEPH_MSG_OSD_OP类型），会调用到ReplicatePG::do_osd_op函数，该函数对类型做进一步判断，当发现为读类型（CEPH_OSD_OP_READ）时,会调用FileStore中的函数对磁盘上数据进行读。

int ReplicatedPG::do_osd_ops(OpContext *ctx, vector<OSDOp>& ops)
{
    ……
    switch (op.op) {
        ……
        case CEPH_OSD_OP_READ:
            ++ctx->num_read;
        {
            // read into a buffer
            bufferlist bl;
            int r = osd->store->read(coll, soid, op.extent.offset, op.extent.length, bl);
            // 调用FileStore::read从底层文件系统读取
            ……
        }
        case CEPH_OSD_OP_WRITE:
            ++ctx->num_write;
        {
            ……//写操作只是做准备工作，并不实际的写
        }
        ……
    }
}

FileStore::read函数是底层具体的实现，会通过调用系统函数如::open,::pread,::close等函数来完成具体的操作。

int FileStore::read(
  coll_t cid,
  const ghobject_t& oid,
  uint64_t offset,
  size_t len,
  bufferlist& bl,
  bool allow_eio)
{
    ……
    int r = lfn_open(cid, oid, false, &fd);
    ……
    got = safe_pread(**fd, bptr.c_str(), len, offset);
    //FileStore::safe_pread中调用了::pread
    ……
    lfn_close(fd);
    ……
}