kubernetes 部署 rook (ceph集群)

说明

存储初始化
部署 rook

存储初始化

常见存储磁盘结构

全部 ssd 磁盘组成 (推荐)

ceph 数据存放独立 ssd 硬盘， journal 数据存放至独立 ssd 硬盘 ( 不知道 rook 是否支持)
ceph 数据及 jouranl 数据存放至相同 SSD 物理硬盘 ( rook 支持)

ssd 硬盘与 sata 硬盘混搭 (推荐)

ceph 数据存放至 sata 硬盘， journal 数据存放至 ssd （ 推荐并且理论上 rook 支持 ）

全部 sata 硬盘 （ io 性能最差 ）

ceph 数据存放至 sata 硬盘， journal 数据存放至独立 sata 硬盘 （不支持)
ceph 数据与 journal 数据存放至相同 sata 硬盘 (支持,性能最差)

存储需求

除系统盘， 每个硬盘独立划分成一个 r0 磁盘
磁盘初始化方法如下： ex /dev/sdb

dd if=/dev/zero of=/dev/sdb bs=1M count=100
sync 
parted -s /dev/sdb  mklabel gpt

存储需要加入 kubernetes 集群中

[root@ns-yun-020065 ceph]# kubectl get node
NAME                            STATUS   ROLES    AGE     VERSION
ns-storage-020100.vclound.com   Ready    <none>   11d     v1.13.3
ns-storage-020101.vclound.com   Ready    <none>   11d     v1.13.3
ns-storage-020102.vclound.com   Ready    <none>   11d     v1.13.3
ns-storage-020104.vclound.com   Ready    <none>   3d23h   v1.13.3
ns-yun-020065.vclound.com       Ready    master   14d     v1.13.3
ns-yun-020066.vclound.com       Ready    <none>   14d     v1.13.3
ns-yun-020067.vclound.com       Ready    <none>   14d     v1.13.3

rook docker images 下载

每个存储节点上都需要获取下面镜像

rook/ceph:master

初始化 ceph 集群过程中，生成 key, 部署 mon, mgr, osd 等过程都需要使用该镜像
具体信息，直接参考 https://github.com/rook/rook 代码

ceph/ceph:v13.2.2-20181023

ceph 软件
ceph images tag 可以从 https://hub.docker.com/r/ceph/ceph/tags/ 获取

参考下面 docker pull 过程

[root@ns-storage-020104 ~]# docker pull rook/ceph:master
master: Pulling from rook/ceph
aeb7866da422: Already exists
a759c546a14c: Already exists
f350ad2d857b: Already exists
d3fad71e21f3: Pull complete
Digest: sha256:08dcf99f3761246bba3946c3c3558b2298e4ae7cdc3c4d590ed20812ec4afd99
Status: Downloaded newer image for rook/ceph:master

[root@ns-storage-020104 ~]# docker pull ceph/ceph:v13.2.2-20181023
v13.2.2-20181023: Pulling from ceph/ceph
Digest: sha256:d534e57377bfa0f1e2222c69