ceph方式部署三节点集群

最新推荐文章于 2025-07-16 16:05:47 发布

原创

最新推荐文章于 2025-07-16 16:05:47 发布 · 2.8k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#linux

本文详细介绍在CentOS 7系统上部署Ceph集群的步骤。先进行部署准备，包括关闭防火墙和selinux、配置hosts文件等；接着开始部署，如添加源、安装ceph-deploy、初始化集群、添加OSD等；还介绍了配置Mgr-Dashboard模块，最后给出ceph中常见Error的解决办法。

一、部署准备
本次使用Ceph版本：
• Ceph：Nautilus（14.2.9）
• Ceph-deploy：2.0.1
IP地址主机名附加磁盘（OSD）集群角色
192.168.220.130 ceph-node1 mon，mgr，（主节点）（也可以再加一块磁盘）
192.168.220.131 ceph-node2 一块20G磁盘（/dev/sdb） osd1
192.168.220.132 ceph-node3 一块20G磁盘（/dev/sdb） osd2
本次测试节点信息：
如果环境允许，可以用一个ceph-admin节点专门放置mon,mgr,mds等这些组件，osd放置在其他节点，更便于管理
服务器系统版本
[root@ceph-node1 ~]# cat /etc/centos-release
CentOS Linux release 7.8.2003 (Core)
1、关闭防火墙和selinux
sed -i “s/SELINUX=enforcing/SELINUX=permissive/g” /etc/selinux/config
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
2、配置hosts文件
保证集群内主机名与ip解析正常（每个节点都需要配置）
[root@ceph-node1 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.220.130 ceph-node1
192.168.220.131 ceph-node2
192.168.220.132 ceph-node3
[root@ceph-node1 ~]# ping ceph-node2
PING ceph-node2 (192.168.220.131) 56(84) bytes of data.
64 bytes from ceph-node2 (192.168.220.131): icmp_seq=1 ttl=64 time=0.281 ms
64 bytes from ceph-node2 (192.168.220.131): icmp_seq=2 ttl=64 time=0.169 ms…………
3、创建部署用户及配置sudo权限（所有节点都执行）
a.考虑到使用root用户的安全性问题，所以这里创建一个 ceph-admin 普通用户做为部署及运维使用
b.再加上ceph-deploy会在节点安装软件包，所以创建的用户需要无密码 sudo 权限
[root@ceph-node1 ~]# useradd ceph-admin
[root@ceph-node1 ~]# echo “123456” | passwd --stdin ceph-admin
Changing password for user ceph-admin.
passwd: all authentication tokens updated successfully.

[root@ceph-node1 ~]# echo “ceph-admin ALL = NOPASSWD:ALL” | tee /etc/sudoers.d/ceph-admin
ceph-admin ALL = NOPASSWD:ALL
[root@ceph-node1 ~]# chmod 0440 /etc/sudoers.d/ceph-admin
[root@ceph-node1 ~]# ll /etc/sudoers.d/ceph-admin
-r–r-----. 1 root root 30 Oct 19 16:06 /etc/sudoers.d/ceph-admin

测试
[root@ceph-node1 ~]# su - ceph-admin
Last login: Mon Oct 19 16:11:51 CST 2020 on pts/0
[ceph-admin@ceph-node1 ~]$ sudo su -
Last login: Mon Oct 19 16:12:04 CST 2020 on pts/0
[root@ceph-node1 ~]# exit
logout
[ceph-admin@ceph-node1 ~]$ exit
logout
4、配置ssh无密码访问（在主节点node1上执行）
[root@ceph-node1 ~]# su - ceph-admin
[ceph-admin@ceph-node1 ~]$ ssh-keygen （每一步都按回车，口令密码留空）
[ceph-admin@ceph-node1 ~]$ ssh-copy-id ceph-admin@ceph-node1
[ceph-admin@ceph-node1 ~]$ ssh-copy-id ceph-admin@ceph-node2
[ceph-admin@ceph-node1 ~]$ ssh-copy-id ceph-admin@ceph-node3

5、配置ntp时间同步
配置时间同步目的：因在时间一致的情况下，才可保证集群正常运行
配置时间同步方式：node1连接网络上的ntp服务器同步时间，node2,3连接node1同步时间（即node1既为ntp服务端，也为客户端）
注：ntpd启动后需要等待几分钟去同步
yum -y intall ntp（安装ntp，全部节点都需要执行）

node1节点操作：
vim /etc/ntp.conf
注释掉默认的配置项：
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst