Ceph学习笔记

最新推荐文章于 2024-10-17 14:56:09 发布

weixin_34111819

最新推荐文章于 2024-10-17 14:56:09 发布

阅读量183

点赞数

CC 4.0 BY-SA版权

文章标签： python 运维

原文链接：https://my.oschina.net/u/2254503/blog/1551308

本文详细介绍如何在三个节点上部署Ceph分布式文件系统，并解决rbd映射失败的问题。步骤包括安装ceph-deploy、创建集群、配置监视器及OSD等。同时提供了解决rbd映射失败的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

0.准备条件:

三个ceph节点(node1,node2,node3)，一个客户端节点(client)分别安装NTP和ceph-deploy。

node1可以免密ssh到node2,node3.每个ceph节点上挂3个空白磁盘。

1.启动三个ceph节点

apt install ceph-deploy -y

2.在node1上执行，创建一个ceph集群

mkdir /etc/ceph ; cd /etc/ceph
ceph-deploy new node1

3.使用ceph-deploy在所有节点上安装ceph

ceph-deploy install node1 node2 node3
#保证node1节点可以ssh免密登录node1,node2,node3

4.在ceph-node1上创建一个Ceph monitor

ceph-depoly mon create-initial

5.创建Ceph OSD，sdb,sdc,sdd为节点上挂的空白磁盘:

#删除磁盘现有分区表和磁盘内容
ceph-deploy disk zap node1:sdb node1:sdc node1:sdd
#准备磁盘，先用XFS文件系统格式化磁盘，然后激活第一第二分区分别作为数据分区和日志分区
ceph-deploy osd create node1:sdb node1:sdc node1:sdd
#查看osd个数
ceph -s

6.在node1上将公共网络地址添加到/ect/ceph/ceph.conf

public network = 192.168.xx.xx/24

7.在node2和node3上创建Monitor:

ceph-deploy mon create node2
ceph-deploy mon create node3

8.在node2和node3上重复第五步

9.调整pg_num和pgp_num

ceph osd pool set rbd pg_num 256
ceph osd pool set rbd pgp_num 256

10.遇到

$ rbd map docker_test --name client.admin

rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
In some cases useful info is found in syslog - try "dmesg | tail" or so.

原因：
rbd镜像的一些特性，OS kernel并不支持，所以映射失败。我们查看下该镜像支持了哪些特性。

$ rbd info docker_test

rbd image 'docker_test':
    size 4096 MB in 1024 objects
    order 22 (4096 kB objects)
    block_name_prefix: rbd_data.43702ae8944a
    format: 2
    features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
    flags:

可以看到特性feature一栏，由于我OS的kernel只支持layering，其他都不支持，所以需要把部分不支持的特性disable掉。

方法一：
直接diable这个rbd镜像的不支持的特性：

$ rbd feature disable docker_test exclusive-lock object-map fast-diff deep-flatten

方法二：
创建rbd镜像时就指明需要的特性，如：

$ rbd create --size 4096 docker_test --image-feature layering

方法三：
如果还想一劳永逸，那么就在执行创建rbd镜像命令的服务器中，修改Ceph配置文件/etc/ceph/ceph.conf，在global section下，增加

rbd_default_features = 1

转载于:https://my.oschina.net/u/2254503/blog/1551308