ceph (luminous 版) crush map 管理

目的

crushmap 用于组织 CEPH 物理结构
crush map 通过 type 对 CEPH 集群中逻辑结构进行管理(举例)

osd(磁盘)
host(主机)
rack(机柜)

建议按照实际物理情况进行配置, 以便更好地实现高可用

types

crush map 利用分层的方法进行管理
包含下面 10 种类型

type 0 osd
type 1 host
type 2 chassis
type 3 rack
type 4 row
type 5 pdu
type 6 pod
type 7 room
type 8 datacenter
type 9 region
type 10 root

crushmap

参考下图

每个主机具有独立的 OSD 如图显示
当前只创建一个 pool volumes
pool replication 值(size = 3)
则当数据 A 存放到 ceph cluster 时, CEPH 会对数据 A 进行副本复制, 并存放至 host1, host2, host3 中
当主机 host1 crush, 数据依旧可用

原理

默认 ceph 具有 10 个 type 类型
type 0 osd 代表物理硬盘, 数据最终存放到 osd 中
host 1 host 代表主机级别
type 10 root 是整个 crush map 树的根
其他 type 可以按照物理位置进行定义

如机柜, 机房, 地区等等

分层 (bucket) 的好处, 在于更好地规划数据存放位置

举例

以同一个机房为例子

当前把六个主机 cephsvr-128040 cephsvr-128041 cephsvr-128214 cephsvr-128215 cephsvr-128223 cephsvr-128224 分别独立于三个机柜中
可以有效防止当某个机柜中的交换机或者电源出现问题时候, 所有 ceph 数据都失效

参考下图

crush map 命令管理

添加机柜信息

ceph osd crush add-bucket racka12 rack
ceph osd crush add-bucket racka07 rack
ceph osd crush add-bucket rackb08 rack

把机柜移动到根

[root@cephsvr-128040 tmp]# ceph osd crush move racka12 root=default
moved item id -9 name 'racka12' to location {root=default} in crush map
[root@cephsvr-128040 tmp]# ceph osd crush move racka07 root=default
moved item id -10 name 'racka07' to location {root=default} in crush map
[root@cephsvr-128040 tmp]# ceph osd crush move rackb08 root=default
moved item id -11 name 'rackb08' to location {root=default} in crush map
[root@cephsvr-128040 tmp]#  ceph osd crush move cephsvr-128040 racka12

把主机移动到对应机柜

[root@cephsvr-128040 tmp]# ceph osd crush move cephsvr-128040 rack=racka12
[root@cephsvr-128040 tmp]# ceph osd crush move cephsvr-128045 rack=racka12
[root@cephsvr-128040 tmp]# ceph osd crush move cephsvr-128214 rack=racka07
[root@cephsvr-128040 tmp]# ceph osd crush move cephsvr-128215 rack=racka07
[root@cephsvr-128040 tmp]# ceph osd crush move cephsvr-128223 rack=rackb08
[root@cephsvr-128040 tmp]# ceph osd crush move cephsvr-128224 rack=rackb08

如需对 osd 进行移动, 参考下面命令

ceph osd crush add osd.0 6.0 host=cephsvr-128040  (新增)
ceph osd crush move osd.0 6.0 host=cephsvr-128040  (移动)

验证方法:

ceph osd tree

crushmap 导出

获得默认 crushmap (加密)

ceph osd getcrushmap -o crushmap.dump

转换 crushmap 格式 (加密 -> 明文格式)

crushtool -d crushmap.dump -o crushmap.txt

转换 crushmap 格式(明文 -> 加密格式)

crushtool -c crushmap.txt -o crushmap.done

重新使用新 crushmap

ceph osd setcrushmap -i crushmap.done