基于kubernetes和ceph的存储限额和分配管理

目录

1. Ceph持久卷限额原理... 2

2.集群规划... 2

3.软件版本... 3

4.ceph持久卷搭建... 3

4.1.基础环境准备... 3

4.2.Cephfs Provisioner配置... 4

4.3.Rbd Provisioner配置... 7

4.4.ceph持久卷限额功能测试... 9

4.4.1 测试cephfs持久卷限额... 9

4.4.2 测试rbd持久卷限额... 11

4.5.ceph持久卷客户端... 13

5.常见问题... 13

5.1 cephfs持久卷限额未生效... 13

5.2 rbd持久卷不支持多节点挂载... 14

基于kubernetes的支持限额的ceph持久卷搭建

1. Ceph持久卷限额原理

- Cephfs采用用户态限额，依赖条件为ceph-fuse/attr(注:由于内核态限额依赖内核版本>=4.17，考虑集群机器升级成本高未采用)

示例展示：

setfattr -n ceph.quota.max_bytes -v 100000000 /some/dir(注：前提进行了ceph-fuse挂载)

- Rbd配额由image实现

示例展示：

Rbd配额由image实现，示例：rbd create mypool/myimage --size 102400

2.集群规划

存储挂载说明

挂载类型	Ceph远程目录	Kubernetes节点主机目录
Rbd	/dev/rbd0 注: 对应image可以通过pv查询rbd的image名称	/var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/rbd-image- {RBD_IMAGE}
Cephfs	ceph-mon:/{ROOT_DIR} / {CEPHFS_PATH} 注: CEPHFS_PATH可以通过pv查询cephfs的path	/var/lib/kubelet/pods/{POD_ID} /volumes/kubernetes.io~cephfs/{PV_ID}

注:cephfs客户端建议根据远程目录操作，rbd客户建议根据kubernetes节点主机目录操作

3.软件版本

操作系统：CentOS Linux release 7.9.2009 (Core)

Kubernetes版本：1.13.5

内核版本：4.14.49

ceph版本：13.2.10

4.ceph持久卷搭建

4.1.基础环境准备