部署ceph集群

1.关闭防火墙

//暂时关闭防火墙
 systemctl stop firewalld 
//永久关闭防火墙 
systemctl disable firewalld 
//查看防火墙状态 
systemctl status firewalld

2.关闭selinux

[root@ceph01 ~]# vim /etc/selinux/config 

 3.修改主机名

hostnamectl set-hostname node1 
hostnamectl set-hostname node2 
hostnamectl set-hostname node3

#配置主机名和IP及HOSTS解析
vi /etc/hosts 
# 添加如下内容： 
198.168.1.1  node1
198.168.1.2  node2
198.168.1.3  node3

4.ssh免密配置

ssh-keygen -t rsa
#做免密登陆，按回车保存默认即可
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node1
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node2
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node3

5.配置时间同步

yum install -y chrony
systemctl enable --now chronyd
#服务器查看时间
date

6.配置ceph镜像源

将以下内容粘贴进去 （三台都要操作添加ceph源）
vim /etc/yum.repos.d/ceph.repo

[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
gpgcheck=0
priority=1


[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
gpgcheck=0
priority=1


[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
gpgcheck=0
priority=1

更新yum源

cd /etc/yum.repos.d/

mv CentOS-Base.repo CentOS-Base.repo.backup

 下载新的 CentOS-Base.repo 到 /etc/yum.repos.d/

wget -O 
/etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
或者
curl -o 
/etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

yum makecache

yum update

# 安装工具包、python-setuptools一定要安装、不然会报错的

yum install -y chrony conntrack ipset jq iptables curl sysstat libseccomp wget socat git python-setuptools

yum -y install epel-release

7.安装ceph

注意：只在node1 上安装就可以了 因为它是部署节点，其它两个节点无需安装

yum install ceph-deploy -y

8.在node1 上开始创建集群

建立一个集群配置目录  （注意后面大部分操作都必须cd到此目录内进行操作）

mkdir /etc/ceph
cd /etc/ceph    （进入ceph 刚刚创建的目录进行集群配置）
ceph-deploy new node1

查看  /etc/ceph 目录下是否有以下几个配置文件

安装ceph软件

在所有集群服务器节点上安装 ceph 和ceph-radosgw 软件包 

（三台服务器节点都需要安装）

安装依赖包 yum install -y yum-utils && yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && yum install --nogpgcheck -y epel-release && rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && rm -f /etc/yum.repos.d/dl.fedoraproject.org*

yum install ceph ceph-mon ceph-mgr ceph-radosgw ceph-mds -y

在ceph-deploy 节点上部署 mon （mon是整个ceph集群的控制中心）

cd /etc/ceph
vim ceph.conf
public_network = 192.168.43.0/24
ceph-deploy mon create-initial (初始化mon 组件)

初始化完成后 目录下会新增以下几个文件

接着我们使用 ceph-deploy admin 这条命令将配置文件同步至三台服务器

ceph-deploy admin  node1 node2 node3 ( 将配置文件同步到 另外两台服务器上)

安装完成后ceph -s提示：“mon is allowing insecure global_id reclaim”。

解决方案：禁用不安全模式

ceph config set mon auth_allow_insecure_global_id_reclaim false

# 检测命令 

ceph health

然后我们用 ceph -s 命令 查看一下 ceph 目前的状态  

mon初始化已经完成

9.在ceph-deploy 节点上部署 mgr(mgr是用来监控各个节点的 )

ceph-deploy mgr create  node1 (在ceph1上创建 mgr )

使用 ceph -s  检查一下  mgr的状态已经激活

10.添加OSD硬盘

lsblk (查看目前空闲硬盘的名称sdb)

ceph-deploy osd create node1  --data /dev/sdb

ceph 的集群已经完成部署了