CEPH生产环境集群搭建及参数优化

一、ceph集群搭建准备

1. 生产搭建使用了九台物理机，其中三台作为管理机，其余六台作为数据机，每台数据机上使用12块磁盘(磁盘暂时使用机械硬盘)
2. 管理机与各个节点机在同一网络区域

二、ceph搭建步骤

1. 管理机与各个主机做免密登录(ceph同步各节点数据时免去输入密码操作)
2. 检查各个数据机上的磁盘状态，如果已经挂载了，需要清除数据，并且卸载
3. 各节点安装ceph软件 ps:此处使用离线安装方式较为繁琐,如果能使用在线安装最好
4. 创建集群
5. 修改配置文件 ceph.conf 此处配置为基础配置，后续优化
6. 将密钥和配置文件分发至各个节点机，并且做权限644
7. 创建集群mgr
8. 将数据机磁盘挂载至ceph的osd 》 ps:此处挂载注意磁盘格式为xfs
9. 检查集群状态及mon信息是否准确
10. 优化osd+mon+mgr，增加osd节点和mon节点

三、ceph搭建命令

1. 管理机至各个节点的免密操作
   1.1 修改.ssh/config配置文件为

   Host ceph-001
   Hostname ceph-001
   User cephuser
   1.2配置文件赋值
   chmod 644 ~/.ssh/config
   1.3管理节点上生成key
   ssh-keygen
   1.4将公钥分发至各个节点
   此处有多种方式分发
   第一种：使用ssh-copy-id命令远程拷贝 ssh-copy-id ceph-002
   第二种：scp远程拷贝authorized_keys文件，如果没有该文件就将.ssh/id_rsa.pub的内容复制到该文件中，注意拷贝之后修改目标机器上的该文件权限 chmod 600 authorized_keys

2. 卸载磁盘 umount /data1 ps:卸载12块磁盘并检查type为xfs

3. 创建ceph安装目录，用于存放配置文件

4. 安装ceph，此处使用离线安装

   -rw-r–r-- 1 cephuser cephuser 255648 Aug 7 22:05 audit-2.8.4-4.el7.x86_64.rpm
   -rw-r----- 1 cephuser cephuser 102448 Aug 7 22:05 audit-libs-2.8.4-4.el7.x86_64.rpm
   -rw-r----- 1 cephuser cephuser 78216 Aug 7 22:05 audit-libs-python-2.8.4-4.el7.x86_64.rpm
   -rw-r----- 1 cephuser cephuser 3024 Aug 7 22:05 ceph-13.2.6-0.el7.x86_64.rpm
   -rw-r----- 1 cephuser cephuser 5156908 Aug 7 22:05 ceph-base-13.2.6-0.el7.x86_64.rpm
   -rw-r----- 1 cephuser cephuser 14729668 Aug 7 22:05 ceph-common-13.2.6-0.el7.x86_64.rpm
   -rw-rw-r-- 1 cephuser cephuser 3076 Aug 10 15:10 ceph-deploy-ceph.log
   -rw-r----- 1 cephuser cephuser 1800352 Aug 7 22:05 ceph-mds-13.2.6-0.el7.x86_64.rpm