k8s实践利用storageclass实现pvc的动态provision(volume使用ceph rbd)

    最近实践了利用k8s的storageclass,实现pvc的动态创建,绑定,特记录如下.

   1 已经部署好的k8s集群和ceph集群.

   2  创建ceph-secret,后面创建storageclass需要使用.

    

   启动key后面的内容为ceph的admin用户的秘钥base64编码的结果

   

     3  创建storageclass 

其中 adminSecretName与上面创建的secret的名字对应, adminSecretNamespace为kube-system.

  4 创建pvc,pvc里面引用创建出来的storageclass.

 5  创建pod引用此pvc

6 创建deployment后,pod变为running状态

        pod创建过程中的kube-controller-manager的日志输出,可以发现对应的pv_controller控制器的工作过程

         对应的ceph pool自动创建了一个rbd image,kubectl可以看到自动创建的pv,并且已经bound到pod了

         

 

  

      到pod运行的node节点,用lsblk可以看到rbd image已经挂载到pod里面

7  遇到的问题

   7.1   RBAC导致的问题(system:kube-controller-manager用户缺少权限)

   解决办法:按照报错提示授予对应的权限即可。

   7.2  创建的secret 无法被pv_controller获取到的问题。

  问题原因：之前ceph-secret定义到了default的namespace，导致pv_controller无法获取

  解决办法：定义ceph-secret到kube-system的namespace即可。

   7.3、创建的deployment无法autoscale

    通过kubectl autoscale deployment my-nginx-pvc --min=2 --max=3扩容pod，发现pod一直在ContainerCreating状态。

   

问题原因：rbd类型的pv只能被一个pod可以读写挂载 ，一个rbd image挂载到pod后，image会加锁。

解决办法：使用支持多个pod同时读写挂载的pv类型，如nfs，或者使用stateful，每个pod各自挂载一个pv。

参考:

   1  https://v1-8.docs.kubernetes.io/docs/concepts/storage/storage-classes/

   2 https://v1-8.docs.kubernetes.io/docs/concepts/storage/persistent-volumes/