微服务——安装cephfs+consul集群

原创

已于 2022-03-22 09:08:39 修改 · 686 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#微服务 #consul #kubernetes

于 2022-03-17 08:20:16 首次发布

本文档记录了在Kubernetes(K8s)环境中使用CephFS作为持久化存储部署Consul集群遇到的问题及解决办法。首先，由于CephFS仅支持ReadWriteMany访问模式，而StatefulSet的存储要求必须为ReadWriteOnce，导致初始部署失败。为解决此问题，作者尝试了删除ConfigMap并修改StatefulSet配置，包括删除advertise_addr参数，以避免不断选举leader导致的数据同步问题。最终的配置中，通过设置适当的参数如-retry-join来确保集群的稳定性和数据一致性。

参考：k8s部署consul集群 | 虫子个人博客

基本内容同参考连接一致，只是在consul.yaml中略微改动。参考文档中存储是挂载的nfs，我这里是用的cephfs，修改内容如下：

volumeClaimTemplates:
  - metadata:
      name: consul
      namespace: cephfs
      annotations:
        volume.beta.kubernetes.io/storage-class: "cephfs"  //这里根据自己部署的storageclass命名实际填写
    spec:
      accessModes:
        - ReadWriteMany
      resources:
        requests:
          storage: 5Gi

我这里的cephfs是namespace是在cephfs下，具体原因可能和cephfs-provisioner创建的位置有关，我尝试过虽然sc没有namespace（ns）约束，但是在其他namespace下部署pvc是不能动态创建pv的，需要将pvc部署在和cephfs-provisioner同一个ns下才可以运行正常，是不是在其他的ns下在部署一个cephfs-provisioner就可以部署pvc了，还没有尝试，这块没太搞明白。现在用cephfs的业务都在cehpfs的ns下，临时使用。

中间我还尝试存储挂载ceph pvc，发现ceph不支持accessModes:ReadWriteMany，它只支持[ReadWriteOnce]，只有cephfs支持[ReadWriteMany]，如果将StatefulSet部署存储改为accessModes:ReadWriteOnce，会发现pod无法建立。

--------

最低0.47元/天解锁文章