ceph分布式存储

web1
nginx,lvs,haproxy web2 数据共享（iscsi，nfs『100T』）
web3 NFS（100T） 数据量特别大时？————》分布式存储
web4
ceph：
10T 10T 10T 10T ——————OSDs存储设备
node1 node2 node3 node4

monitor(实际生产环境一般为三台备份) ——————Monitors集群监控组件

ceph：raid（taid0条带 raid5数学方式编译存储）方式数据分片，把数据拆分后，同时开始存入四台机，速度会提升很多（如上）
ceph可以提供 对象存储，块存储，文件系统存储
ceph可 提供EB级别的存储（EB———》PB——》TB——》GB）
软件定义存储

ceph的组件
实验环境
创建1台客户端虚拟机
创建3台存储集群虚拟机
配置主机名、IP地址、YUM源
修改所有主机的主机名
配置无密码SSH连接
配置NTP时间同步
创建虚拟机磁盘


物理机为所有节点配置yum源服务器
[root@room9pc01 ~]# yum -y install vsftpd
[root@room9pc01 ~]# mkdir /var/ftp/ceph
[root@room9pc01 ~]# mount -o loop rhcs2.0-rhosp9-20161113-x86_64.iso /var/ftp/ceph
[root@room9pc01 ~]# systemctl restart vsftpd
修改所有节点都需要配置YUM源（这里仅以node1为例）
[root@node1 ~]# cat /etc/yum.repos.d/ceph.repo
[mon]
name=mon
baseurl=ftp://192.168.4.254/ceph/rhceph-2.0-rhel-7-x86_64/MON
gpgcheck=0
[osd]
name=osd
baseurl=ftp://192.168.4.254/ceph/rhceph-2.0-rhel-7-x86_64/OSD
gpgcheck=0
[tools]
name=tools
baseurl=ftp://192.168.4.254/ceph/rhceph-2.0-rhel-7-x86_64/Tools
gpgcheck=0
修改/etc/hosts并同步到所有主机。
[root@node1 ~]# cat /etc/hosts
… …
192.168.4.10 client
192.168.4.11 node1
192.168.4.12 node2
192.168.4.13 node3
/etc/hosts解析的域名必须与本机主机名一致！！！！
在所有主机上按相同的yum和域名解析
[root@node1 ~]# for i in 10 11 12 13

do
scp /etc/hosts 192.168.4.KaTeX parse error: Expected 'EOF', got '#' at position 28: … [root@node1 ~]#̲ for i in 10 1…i:/etc/yum.repos.d/
done
配置无密码连接(包括自己远程自己也不需要密码)。
[root@node1 ~]# ssh-keygen -f /root/.ssh/id_rsa -N ‘’
[root@node1 ~]# for i in 10 11 12 13
do
ssh-copy-id 192.168.4.$i
done
配置NTP时间同步
[root@room9pc01 ~]# yum -y install chrony
[root@client ~]# cat /etc/chrony.conf
server 0.centos.pool.ntp.org iburst
allow 192.168.4.0/24
local stratum 10
[root@room9pc01 ~]# systemctl restart chronyd
[root@node1 ~]# cat /etc/chrony.conf
server 192.168.4.254 iburst
[root@node1 ~]# for i in client node1 node2 node3
do
ssh $i “systemctl restart chronyd”
done

部署ceph集群
安装部署工具ceph-deploy
创建ceph集群
准备日志磁盘分区
创建OSD存储空间
查看ceph状态，验证

1.部署软件
在node1安装部署工具，学习工具的语法格式。
[root@node1 ~]# yum -y install ceph-deploy ###这个包会默认远程到其他服务器下载相同的包
[root@node1 ~]# ceph-deploy --help
创建目录
[root@node1 ~]# mkdir ceph-cluster
[root@node1 ~]# cd ceph-cluster/
2.部署Ceph集群
创建Ceph集群配置。
[root@node1 ceph-cluster]# ceph-deploy new node1 node2 node3
[root@node1 ceph-cluster]# ls
ceph.conf ceph-deploy-ceph.log ceph.mon.keyring ##生成的配置文件
给所有节点安装软件包。
[root@node1 ceph-cluster]# ceph-deploy install node1 node2 node3 ##类似一个同步执行的脚本
初始化所有节点的mon服务（主机名解析必须对）
[root@node1 ceph-cluster]# ceph-deploy mon create-initial ##起群集监控组件，只在Monitors机上
把当前目录下的配置文件cp到其他服务器，然后重起服务。注意要在当前目录下
？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？
常见错误及解决方法（非必要操作，有错误可以参考）：
如果提示如下错误信息：
[node1][ERROR ] admin_socket: exception getting command descriptions: [Error 2] No such file or directory
解决方案如下（在node1操作）：
先检查自己的命令是否是在ceph-cluster目录下执行的！！！！如果时确认是在该目录下执行的create-initial命令，依然保存，可以使用如下方式修复。
[root@node1 ceph-cluster]# vim ceph.conf #文件最后追加以下内容
public_network = 192.168.4.0/24
修改后重新推送配置文件:
[root@node1 ceph-cluster]# ceph-deploy --overwrite-conf config push node1 node2 node3

3.创建OSD
准备磁盘分区（node1、node2、node3都做相同操作）
[root@node1 ceph-cluster]# parted /dev/vdb mklabel gpt
[root@node1 ceph-cluster]# parted /dev/vdb mkpart primary 1M 50%
[root@node1 ceph-cluster]# parted /dev/vdb mkpart primary 50% 100%
[root@node1 ceph-cluster]# chown ceph.ceph /dev/vdb1 ##默认权限不对，修改目录的属主属组
[root@node1 ceph-cluster]# chown ceph.ceph /dev/vdb2 ##临时修改，重起计算机后还原
//这两个分区用来做存储服务器的日志journal盘
[root@node1 ceph-cluster]# vim /etc/udev/rules.d/70-vdb.rules ##永久修改目录权限
ENV{DEVNAME}"/dev/vdb1",OWNER=“ceph”,GROUP=“ceph”
ENV{DEVNAME}"/dev/vdb2",OWNER=“ceph”,GROUP=“ceph”
初始化清空磁盘数据（仅node1操作即可）
[root@node1 ceph-cluster]# ceph-deploy disk zap node1:vdc node1:vdd
[root@node1 ceph-cluster]# ceph-deploy disk zap node2:vdc node2:vdd
[root@node1 ceph-cluster]# ceph-deploy disk zap node3:vdc node3:vdd
创建OSD存储空间（仅node1操作即可）
[root@node1 ceph-cluster]# ceph-deploy osd create node1:vdc:/dev/vdb1 node1:vdd:/dev/vdb2
//创建osd存储设备，vdc为集群提供存储空间，vdb1提供JOURNAL缓存，
//一个存储设备对应一个缓存设备，缓存需要SSD，不需要很大
[root@node1 ceph-cluster]# ceph-deploy osd create
node2:vdc:/dev/vdb1 node2:vdd:/dev/vdb2
[root@node1 ceph-cluster]# ceph-deploy osd create
node3:vdc:/dev/vdb1 node3:vdd:/dev/vdb2

常见错误（非必须操作）
使用osd create创建OSD存储空间时，如提示run ‘gatherkeys’，可以使用如下命令修复：
[root@node1 ceph-cluster]# ceph-deploy gatherkeys node1 ； node2 ； node3

4.验证测试
[root@node1 ~]# ceph -s ##“ health HEALTH_OK” 即为成功
启用
[root@node1 ceph-cluster]# systemctl status ceph-osd@0.service
[root@node1 ceph-cluster]# systemctl status ceph-osd@1.service
​
[root@node2 ceph-cluster]# systemctl status ceph-osd@2.service
[root@node2 ceph-cluster]# systemctl status ceph-osd@3.service
​
[root@node3 ceph-cluster]# systemctl status ceph-osd@4.service
[root@node3 ceph-cluster]# systemctl status ceph-osd@5.service
？？？？？？？？？？？？？？？？？？？？？？？？？？？？
常见错误（非必须操作）
如果查看状态包含如下信息：
health: HEALTH_WARN
clock skew detected on node2, node3…
clock skew表示时间不同步，解决办法：请先将所有主机的时间都使用NTP时间同步！！！
Ceph要求所有主机时差不能超过0.05s，否则就会提示WARN，如果使用NTP还不能精确同步时间，可以手动修改所有主机的ceph.conf，在[MON]下面添加如下一行
mon clock drift allowed = 1
如果状态还是失败，可以尝试执行如下命令，重启ceph服务：
[root@node1 ~]# systemctl restart ceph*.service ceph*.target

创建Ceph块存储
创建块存储镜像
客户端映射镜像
创建镜像快照
使用快照还原数据
使用快照克隆镜像
删除快照与镜像
创建镜像
1.查看存储池。
[root@node1 ~]# ceph osd lspools
0 rbd,
创建镜像、查看镜像:创建用户可以使用的共享磁盘
[root@node1 ~]# rbd create demo-image --image-feature layering --size 10G
[root@node1 ~]# rbd create rbd/image --image-feature layering --size 10G
[root@node1 ~]# rbd list ##查看所有创建的镜像
[root@node1 ~]# rbd info demo-image ##查看demo-image镜像的详情
rbd image ‘demo-image’:
size 10240 MB in 2560 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.d3aa2ae8944a
format: 2
features: layering

2.动态调整
缩小：生产环境不使用，避免数据丢失
下面案例把镜像磁盘缩小成7G的盘
[root@node1 ~]# rbd resize --size 7G image --allow-shrink
[root@node1 ~]# rbd info image
扩容：把下面的磁盘扩容成15G的磁盘
[root@node1 ~]# rbd resize --size 15G image
[root@node1 ~]# rbd info image

通过KRBD访问
集群内将镜像映射为本地磁盘
[root@node1 ~]# rbd map demo-image
/dev/rbd0
[root@node1 ~]# lsblk
… …
rbd0 251:0 0 10G 0 disk
[root@node1 ~]# mkfs.xfs /dev/rbd0
[root@node1 ~]# mount /dev/rbd0 /mnt

客户端通过KRBD访问
#客户端需要安装ceph-common软件包
#拷贝配置文件（否则不知道集群在哪）
#拷贝连接密钥（否则无连接权限）
[root@client ~]# yum -y install ceph-common
[root@client ~]# scp 192.168.4.11:/etc/ceph/ceph.conf /etc/ceph/
[root@client ~]# scp 192.168.4.11:/etc/ceph/ceph.client.admin.keyring
/etc/ceph/
[root@client ~]# rbd map image
[root@client ~]# lsblk
[root@client ~]# rbd showmapped
id pool image snap device
0 rbd image - /dev/rbd0
客户端格式化、挂载分区
[root@client ~]# mkfs.xfs /dev/rbd0
[root@client ~]# mount /dev/rbd0 /mnt/
[root@client ~]# echo “test” > /mnt/test.txt

创建镜像快照
集群内将镜像映射为本地磁盘
[root@node1 ~]# rbd snap ls image
创建镜像快照
[root@node1 ~]# rbd snap create image --snap image-snap1
[root@node1 ~]# rbd snap ls image
SNAPID NAME SIZE
4 image-snap1 15360 MB
删除客户端写入的测试文件
[root@client ~]# rm -rf /mnt/test.txt
还原快照
[root@node1 ~]# rbd snap rollback(回滚) image --snap image-snap1
#客户端重新挂载分区
[root@client ~]# umount /mnt
[root@client ~]# mount /dev/rbd0 /mnt/
[root@client ~]# ls /mnt

创建快照克隆
克隆快照
[root@node1 ~]# rbd snap protect(锁定) image（名字） --snap image-snap1
[root@node1 ~]# rbd snap rm image --snap image-snap1 //会失败，当要删除时unprotect解除锁定
[root@node1 ~]# rbd clone
image --snap image-snap1 image-clone --image-feature layering
//使用image的快照image-snap1克隆一个新的image-clone镜像
查看克隆镜像与父镜像快照的关系
[root@node1 ~]# rbd info image-clone
rbd image ‘image-clone’:
size 15360 MB in 3840 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.d3f53d1b58ba
format: 2
features: layering
flags:
parent: rbd/image@image-snap1 ## 显示clone盘来自快照链以及快照的来源
#克隆镜像很多数据都来自于快照链
#如果希望克隆镜像可以独立工作，就需要将父快照中的数据，全部拷贝一份，但比较耗时！！！
[root@node1 ~]# rbd flatten image-clone
[root@node1 ~]# rbd info image-clone
rbd image ‘image-clone’:
size 15360 MB in 3840 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.d3f53d1b58ba
format: 2
features: layering
flags:
#注意，父快照信息没了！
其他操作
客户端撤销磁盘映射
[root@client ~]# umount /mnt
[root@client ~]# rbd showmapped
id pool image snap device
0 rbd image - /dev/rbd0
//语法格式:
[root@client ~]# rbd unmap /dev/rbd0
删除快照与镜像
[root@node1 ~]# rbd snap rm image --snap image-snap
[root@node1 ~]# rbd list
[root@node1 ~]# rbd rm image