k8s-存储-pv和pvc和StatefulSet

huningfei

已于 2023-09-28 15:24:42 修改

阅读量248

点赞数

CC 4.0 BY-SA版权

分类专栏： # k8s 文章标签： kubernetes 容器云原生

于 2020-04-15 13:52:00 首次发布

本文链接：https://blog.youkuaiyun.com/huningfei/article/details/133024165

k8s 专栏收录该内容

19 篇文章

订阅专栏

本文深入解析Kubernetes中的存储概念PV和PVC，以及StatefulSet的特性和使用场景。涵盖PV和PVC的绑定机制、访问类型、回收策略，StatefulSet的部署、扩展顺序及稳定持久化存储的实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

k8s-存储-pv和pvc和StatefulSet

一概念

1.1 pv

PersistentVolume (PV)

是由管理员设置的存储，它是群集的一部分。就像节点是集群中的资源一样，PV 也是集群中的资源。 PV 是Volume 之类的卷插件，但具有独立于使用 PV 的 Pod 的生命周期。此 API 对象包含存储实现的细节，即 NFS、iSCSI 或特定于云供应商的存储系统

1.2 pvc

PersistentVolumeClaim (PVC)

是用户存储的请求。它与 Pod 相似。Pod 消耗节点资源，PVC 消耗 PV 资源。Pod 可以请求特定级别的资源(CPU 和内存)。声明可以请求特定的大小和访问模式(例如，可以以读/写一次或只读多次模式挂载)

作用：

PVC 保护的目的是确保由 pod 正在使用的 PVC 不会从系统中移除，因为如果被移除的话可能会导致数据丢失当启用PVC 保护 alpha 功能时，如果用户删除了一个 pod 正在使用的 PVC，则该 PVC 不会被立即删除。PVC 的删除将被推迟，直到 PVC 不再被任何 pod 使用

1.3 pv和pvc绑定

master 中的控制环路监视新的 PVC，寻找匹配的 PV(如果可能)，并将它们绑定在一起。如果为新的 PVC 动态调配 PV，则该环路将始终将该 PV 绑定到 PVC。否则，用户总会得到他们所请求的存储，但是容量可能超出要求的数量。一旦 PV 和 PVC 绑定后， PersistentVolumeClaim 绑定是排他性的，不管它们是如何绑定的。 PVC 跟PV 绑定是一对一的映射

1.4 pv访问类型

PersistentVolume 可以以资源提供者支持的任何方式挂载到主机上。如下表所示，供应商具有不同的功能，每个PV 的访问模式都将被设置为该卷支持的特定模式。例如，NFS 可以支持多个读/写客户端，但特定的 NFS PV 可能以只读方式导出到服务器上。每个 PV 都有一套自己的用来描述特定功能的访问模式

ReadWriteOnce——该卷可以被单个节点以读/写模式挂载

ReadOnlyMany——该卷可以被多个节点以只读模式挂载

ReadWriteMany——该卷可以被多个节点以读/写模式挂载

在命令行中，访问模式缩写为：

RWO - ReadWriteOnce

ROX - ReadOnlyMany

RWX - ReadWriteMany

1.5 pvc回收策略

Retain(保留)——手动回收

Recycle(回收)——基本擦除( rm -rf /thevolume/* )

Delete(删除)——关联的存储资产(例如 AWS EBS、GCE PD、Azure Disk 和 OpenStack Cinder 卷)

将被删除当前，只有 NFS 和 HostPath 支持回收策略。AWS EBS、GCE PD、Azure Disk 和 Cinder 卷支持删除策略

1.6 pvc的状态

Available(可用)——一块空闲资源还没有被任何声明绑定

Bound(已绑定)——卷已经被声明绑定

Released(已释放)——声明被删除，但是资源还未被集群重新声明

Failed(失败)——该卷的自动回收失败

1.7 创建pv和pvc

安装nfs

注意你的node节点也都需要安装nfs-utils，为了挂载

yum install -y nfs-common nfs-utils rpcbind
mkdir /nfs{1..3}
chmod 666 /nfs{1..3}
chown nfsnobody /nfs{1..3}

[root@k8s-master01 pv]# cat /etc/exports
/nfs1 *(rw,no_root_squash,no_all_squash,sync)
/nfs2 *(rw,no_root_squash,no_all_squash,sync)
/nfs3 *(rw,no_root_squash,no_all_squash,sync)

systemctl start rpcbind
systemctl start nfs

创建pv

[root@k8s-master01 pv]# cat pv.yaml 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfspv1 #pv名字
spec:
  capacity:
    storage: 10Gi
  accessModes: # 访问模式
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle #回收模式
  storageClassName: nfs #卷的名字
  nfs:
    path: /nfs1 #挂载宿主机目录
    server: 192.168.1.210 # nfsip
---

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfspv2
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadOnlyMany
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: hu
  nfs:
    path: /nfs2
    server: 192.168.1.210
---

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfspv3
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfs3
    server: 192.168.1.210

查看pv

创建pvc

[root@k8s-master01 pv]# cat pod.yaml 
# 创建无头服务
apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  ports:
  - port: 80
    name: web
  clusterIP: None
  selector:
    app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  selector:
    matchLabels:
      app: nginx
  serviceName: "nginx"
  replicas: 3
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: wangyanglinux/myapp:v1
        ports:
        - containerPort: 80
          name: web
        volumeMounts:
        - name: www
          mountPath: /usr/share/nginx/html
  volumeClaimTemplates:
  - metadata:
      name: www
    spec: #必须满足下面两个，pod才会绑定到pv上面
      accessModes: [ "ReadWriteOnce" ] #读取模式
      storageClassName: "nfs" #绑定pv名字为nfs
      resources:
        requests:
          storage: 1Gi

然后查看绑定结果，发现只有一个pod绑定成功，因为另外两pc不满足条件

然后我们再次测试，把另外两个pv也改成跟nfspv1 相同的配置，你会发现三个pod都已经启动了

然后3个pv也都绑定了

然后在查看pvc

然后分别访问三个pod，在node节点上面，需要去宿主机的，nfs1,nfs2,nfs3,三个目录添加index.html文件

即使你删除一个pod，他的ip地址变了，然后你再次访问，数据发现还是不会丢失的

二 StatefulSet

2.1 statefulset特性

匹配 Pod name ( 网络标识 ) 的模式为：$(statefulset名称)-$(序号)，比如上面的示例：web-0，web-1，web-2

StatefulSet 为每个 Pod 副本创建了一个 DNS 域名，这个域名的格式为： $(podname).(headless servername)，也就意味着服务间是通过Pod域名来通信而非Pod IP，因为当Pod所在Node发生故障时， Pod 会被飘移到其它 Node 上，Pod IP 会发生变化，但是 Pod 域名不会有变化

验证：登录其中一个pod，然后ping ,容器名.svc名字

StatefulSet 使用 Headless 服务来控制 Pod 的域名，这个域名的 FQDN 为：$(servicename).$(namespace).svc.cluster.local，其中，“cluster.local” 指的是集群的域名根据 volumeClaimTemplates，为每个 Pod 创建一个 pvc，pvc 的命名则匹配模式：(volumeClaimTemplates.name)-(pod_name)，比如上面的volumeMounts.name=www， Podname=web-[0-2]，因此创建出来的 PVC 是 www-web-0、www-web-1、www-web-2

验证：10.244.2.9是k8s内部的dns,nginx是svc的名字，default是命名空间的名字