weixin_43743301的博客

经过本指南的系统学习，相信您已掌握了Ceph的核心架构与关键运维技能。从RADOS分布式存储基础，到RBD、CephFS、RGW三大存储接口的实战配置，再到CRUSH算法、PG调优、EC池等高级特性，我们共同拆解了这个开源存储巨头的技术内核。Ceph的魅力在于它用统一的平台解决了块/文件/对象存储的需求，但真正的精妙之处在于：弹性扩展：从几个节点到数千节点，架构始终简洁自我修复：智能数据均衡与故障自动恢复机制开源生态：与Kubernetes、OpenStack等深度集成。

默认组成集群后只有一个9283端口的IP可以被访问到，再次访问第二个会一直白屏状态，但是不通过同一个IP访问，为了方便在单台故障的时候也能访问到，就直接加了个负载。我们需要监控的是两台mgr节点的Prometheus数据。这里的数据可以直接被Prometheus监控。ceph-cluster集群模板 7056。ceph-cluster集群模板 7056。启用ceph的Prometheus模块。Ceph - Pools模板 5342。Ceph - Pools模板 5342。导入Prometheus模板。

默认的分配是概率上的均衡，即使 OSD 都是一样的磁盘空间也会产生一些 PG 分布不均匀的情况。weight 是基于磁盘空间分配 PG 的数量，让 CRUSH 算法尽可能在磁盘空间大的 OSD 上多分配 PG，往磁盘空间小的 OSD 分配较少的 PG。通过“抽签”来实现最优分配，也就是抽取一个最长的签,这个签值就是osd的权重,当创建存储池的时候会向PG分配OSD,straw算法会遍历当前可用的OSD,并优先使用中签的OSD,让权重高的OSD被分配较多的PG存储更多数据.

兼容 Amazon S3 / OpenStack Swift API：提供 RESTful API，支持 boto3、awscli、s3cmd 等工具访问。对象存储架构：数据以 对象（Object） 形式存储在 Bucket（存储桶） 内，而不是传统的文件目录结构。高可扩展性：支持 多租户、分布式部署、跨区域复制，可用于大规模云存储平台。数据管理能力：对象版本控制（Versioning）：可保留对象的历史版本，支持数据回滚。

特点及接口：Ceph FS 需要运行meta data services(MDS服务)，守护进程为 ceph-mds,ceph-mds进程管理与cephfs上存储的文件相关的元数据FUSE挂载(不推荐使用，老系统可用)老系统不支持cephfs的时候可以使用fuse挂载，这个不推荐查看写入速度:FUSE 挂载,内核挂载 对比总结

类似于windows回收站功能，把镜像移动到回收站，后期确认要删除就从回收站删除即可。

Ceph 的身份验证与认证机制通过多个 mon 节点的协作来防止单点故障并提高认证的可靠性。客户端凭借保存在 /etc/ceph/ceph.client.admin.keyring 文件中的秘钥进行加密通讯。使用 ceph auth caps 命令可以指定用户以及更改该用户的能力，设置新能力会完全覆盖当前的能力，因此要加上之前用户已经拥有的能力和新的能力。如果看当前能力，可以运行 ceph auth get USERTYPE.USERID。ceph集群停止启动流程。启动后出现的问题解决。

快照用于将存储池(cephfs及对象存储类型)中的数据进行备份与还原(块存储可以使用镜像快照备份及还原数据)，创建快照需要占用的磁盘空间会比较大，取决于存储池中的数据大小。Ceph的基础存储层，支持对象级别的快照。这种快照直接在底层对象存储中进行，可以为存储池中的所有对象创建一致性快照。

将每个对象存储为 N=K+M 个块（chunk），其中 K 为数据块数量，M 为编码块数量。比较常用的配置是 8+4（即 K 为 8，M 为 4），总共 12 个数据块中有 8 个数据块保存数据，有 4 个实现数据冗余。这样的话，1/3 的磁盘空间用于数据冗余，相比于副本池的三倍冗余更节省空间，但不能出现大于一定数目的块故障。数据分布：实际存储需要4个OSD（k+m=4），允许最多2个OSD故障不丢数据。[2,4,1,7]：数据块分布的OSD编号（对应D1,D2,C1,C2）。

RBD是Ceph提供的块存储服务，类似于传统的硬盘分区或LUN。Ceph Fs 需要运行 Meta DataServices(MDS)服务，其守护进程为ceph-mds，ceph-mds 进程管理与 cephfs 上存储的文件相关的元数据，并协调对 ceph 存储集群的访问。使用 CephFs 之前需要事先于集群中创建一个文件系统，并为其分别指定元数据和数据相关的存储池，如下命令将创建名为 mycephfs 的文件系统，它使用 cephfs-metadata 作为元数据存储池。

Ceph集群安装完成后会自动创建ceph用户（ceph集群默认会使用ceph用户运行各种服务进程如ceph-osd等），因此推荐使用除ceph用户之外的例如cephuser、cephadmin这样的普通用户去部署和管理Ceph集群。Cluster Network(集群网络): 用于Ceph集群内部的通信，包括OSD之间的数据复制、恢复操作和心跳检测,处理Ceph集群内部的数据同步和健康监控，确保数据的一致性和高可用性。例如，ceph 命令用于与 Ceph 集群进行交互，检查集群状态，查看日志，监控性能等。