架构设计：系统存储（30）——分布式文件系统Ceph（RADOS结构）

码炫课堂-码哥

已于 2024-11-24 09:14:02 修改

阅读量1.2k

点赞数 15

CC 4.0 BY-SA版权

分类专栏：架构设计专题文章标签： ceph 系统存储架构设计分布式文件系统

于 2024-10-06 16:45:12 首次发布

本文链接：https://blog.youkuaiyun.com/smart_an/article/details/142728860

作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO

联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬

学习必须往深处挖，挖的越深，基础越扎实！

4. Ceph顶层架构总览

此图来源于官网，很多网络上的资料也引用了这张图，但是并没有讲清楚出现在图中的和没有出现在图中的（但同样重要的）几个名词到底是什么含义，例如，RADOS、LIBRADOS、RADOSGW、RDB、CEPH FS、MON、OSD、MDS等等。读者要搞清楚Ceph的顶层架构，就首先要搞清楚这些名词代表的技术意义，以及这些技术的在Ceph顶层架构中所占据的地位。

4-1. 名词解释

请看以下这张图对Ceph顶层架构抽象名词的功能细化：

是不是这样看就要亲切多了。实际上我们一直讲的Ceph分布式对象存储系统只是上图中的RADOS部分（Reliable Autonomic Distributed Object Store），其中就包括了MON和OSD两大角色。至于MON和OSD中又包括了什么，本文后续将进行介绍。

这里要特别说明以下，请注意上图中MDS角色所在位置。我们先来回想一下在前文介绍Ceph文件系统安装的时候，当我们还没有创建MDS角色时，查看Ceph的状态同样可以看到“HEALTH_OK”的提示信息，如下所示：

    [ceph@vmnode1 ~]$ sudo ceph -w
        cluster d05f71b6-0d52-4cde-a010-582f410eb84d
         health HEALTH_OK
         monmap e1: 3 mons at {......}
                election epoch 6, quorum 0,1,2 vmnode1,vmnode2,vmnode3
         osdmap e13: 3 osds: 3 up, 3 in
          pgmap v19: 64 pgs, 1 pools, 0 bytes data, 0 objects
                15458 MB used, 584 GB / 599 GB avail
                      64 active+clean

只是这时我们还看不到mdsmap的信息，也就是说MDS角色并不是Ceph文件系统RADOS核心部分的必备元素。实际上MDS角色是专门为Ceph FS子系统服务的角色，其上记录了元数据信息说明了Ceph FS子系统中文件目录、文件路径和OSD PG的对应关系。所以当我们创建MDS角色，并使用以下命令创建了Ceph FS文件