K8s网络存储，NFS，PV,PVC，StorageClass等详解

最新推荐文章于 2025-09-27 16:34:51 发布

原创

最新推荐文章于 2025-09-27 16:34:51 发布 · 3.2k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#网络 #docker #运维

本文详细介绍了如何在Kubernetes中配置和使用NFS网络存储卷，包括安装NFS服务器和客户端，创建和使用PVC，以及NFS与PV/PVC的关系。此外，还探讨了存储分配器和StorageClass的概念，演示了如何动态创建和使用PV。最后，展示了MinIO作为网络存储卷的部署步骤。

文章目录

网络存储卷

网络存储卷

Kubernetes是分布式容器集群，如何在多个Pod之间或多个Node之间进行数据存储和共享是非常重要的问题。

Kubernetes引入了网络存储卷，它支持为数众多的云提供商的产品和网络存储方案。

网络存储卷还能够满足持久化数据的要求，这些数据将永久保存。

网络存储卷是集成各种第三方的存储系统，不同的服务商提供的配置有一些不同，NFS只是其中一种。

1. 安装NFS

安装NFS服务器

注意：指定一台机器，我选择了master

安装NFS服务器应用：yum install -y nfs-utils rpcbind
创建NFS共享目录：mkdir -p /data/k8snfs
编辑NFS配置文件：vim /etc/exports
```
/data/k8snfs
*(rw,sync,insecure,no_subtree_check,no_root_squash)
```
第一个参数是NFS共享目录的路径；

第二个参数是允许共享目录的网段，这里设置的是本书中的Kubernetes集群机器网段，也可以设置为“*”以表示不限制。

最后小括号中的参数为权限设置，rw表示允许读写访问，sync表示所有数据在请求时写入共享目录，insecure 表示NFS通过1024以上的端口进行发送，no_root_squash表示root 用户对根目录具有完全的管理访问权限，no_subtree_check表示不检查父目录的权限。

重启服务：

service rpcbind restart
service nfs restart

检查服务器端是否正常加载了/etc/exports的配置

成功：
注意：如果使用云服务器，需要开放一下端口，否则客户端连接不上。使用：rpcinfo -p 查看需要开放的端口。注意有tcp和udp

安装NFS客户端

注意：每台需要使用NFS的Node都需要安装NFS

安装客户端：yum install -y nfs-utils
检查是否能访问远端的NFS服务器：sudo showmount -e {NFS服务器IP地址}

如果出现clnt_create: RPC: Port mapper failure - Timed out，使用云服务的话大概率是接口没开放。

使用NFS

安装完成后可以使用NFS作为存储卷。pod配置后，NFS中的数据可永久保存且可以被多个pod共享。

使用nfs

创建一个exampledeployfornfs.yml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: exampledeployfornfs
spec:
  replicas: 2
  selector:
    matchLabels:
      example: examplefornfs
  template:
    metadata:
      labels:
        example: examplefornfs
    spec:
      containers:
      - name: containerfornfs
        image: busybox
        imagePullPolicy: IfNotPresent
        command: ['sh', '-c']
        args: ['echo "The host is $(hostname)" >> /dir/data; sleep 3600']
        volumeMounts:
        - name: nfsdata
          mountPath: /dir
      volumes:
      - name: nfsdata
        nfs:
          path: /data/k8snfs
          server: xx.xx.236.113

解释：
1. args: [‘echo “The host is $(hostname)” >> /dir/data; sleep 3600’]
  
  创建的名为containerfornfs的容器用于向存储卷写入数据，容器内的存储卷映射地址为/dir，**它引用的存储卷为nfsdata。**容器启动后会以追加方式（使用echo …>>…命令）向/dir/data 文件写入文本，这段代码中使用$(hostname)环境变量获取主机名称，对于Pod中的容器，获取到的是Pod名称。因为Deployment控制器拥有多个Pod，所以通过这种方式，在同一个文件下会由多个Pod写入多行信息。
2. 创建的存储卷名称为nfsdata，这个名称会被容器设置中的 volumeMounts所引用
3. server和path属性分别对应之前在安装时配置的NFS机器IP地址与共享目录
查看结果：
1. kubectl get pod -o wide
2. 分别进入容器查看
  1. kubectl exec -it podname /bin/sh
  3. 由Deployment控制器生成的两个Pod都已经成功地将信息写入同一个存储卷的同一个文件中。
3. 不管哪个Pod，它们都直接引用NFS服务器上的文件，在所有的编辑操作中也都直接处理NFS服务器上的文件。

问题

网络存储卷使用的是不同于Kubernetes的额外系统，因此从使用角度来说，网络存储卷存在两个问题。

存储卷数据清理问题，需要人工清理。
在Pod模板中需要配置所使用存储的细节参数，于是与所使用的存储方案产生高度耦合。若基础设施和应用配置之间没有分离，则不利于维护。

2. 持久存储卷

Kubernetes支持为数众多的云提供商和网络存储方案，如 NFS/iSCSI/GlusterFS/RDB/azureDisk/flocker等。但因为网络存储卷通常是集成各种第三方的存储系统，所以在配置上各有差别。

不同的存储的配置参数不太一样，这些参数应该是存储管理员关注的，而非开发人员，Kubernetes提供了3种基于存储的抽象对象—— PersistentVolume（PV）、StorageClass和 PersistentVolumeClaim（PVC），以支持基础设施和应用之间的分离。

存储管理人员设置 PV或StorageClass，并在里面配置存储系统和参数

开发人员只需要创建PVC来申请指定空间的资源以存储与共享数据即可，无须再关注存储的具体实现和操作。

当删除PVC时，它写入具体存储资源中的数据可以根据回收策略自动清理。

PV和PVC

PV表示持久存储卷，定义了Kubernetes集群中可用的存储资源，其中包含存储资源实现的细节，如包含如何使用 NFS/iSCSI/GlusterFS/RDB/azureDisk/flocker 等资源的具体设置。

PVC表示持久存储卷的申请，是由用户发起的对存储资源的请求。申请中只包含请求资源的大小和读写访问模式，无须关注具体的资源实现细节，Kubernetes会自动为其绑定符合条件的PV

创建PV

创建examplefornfspv.yml kubectl apply -f examplefornfspv.yml

apiVersion: v1
kind: PersistentVolume # 资源类型
metadata:
  name: examplefornfspv 
spec: # 该资源对象的具体设置
  capacity:  # 表示PV的容量，通过storage子属性可以指定占用的具体存储资源（如NFS）的大小，在本例中设定为1Gi。
    storage: 1Gi
  accessModes: 
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: examplenfs
  nfs:
    path: /data/k8snfs
    server: xx.xx.236.113

解析：

accessModes：定义 PV 对具体存储资源（如 NFS）的访问模式。一共有3种访问模式分别为
ReadWriteOnce（该卷可以被单个节点以读写模式挂载）
ReadOnlyMany（该卷可以被多个节点以只读模式挂载）
ReadWriteMany（该卷可以被多个节点以读写模式挂载）。在本例中使用ReadWriteMany。


persistentVolumeReclaimPolicy：表示当删除PVC时，PV资源的回收策略。
一共有3种策略，分别为Retain（保留）、Recycle（自动回收）、Delete（自动删除）。
当前只有NFS和hostPath支持Recycle策略，AWSEBS、GCE PD、Azure Disk和Cinder卷支持Delete策略。

storageClassName：表示PV资源的描述性分类名称。
例如，可以使用“ssd”“slowdisk”等具备分类的描述性名称。
后续在创建PVC时可以引用这个名称来绑定PV。

nfs：表示该PV使用NFS服务器作为具体的存储资源，
server和path属性为之前网络存储卷示例中配置的NFS服务
器及共享目录。

查看pv资源kubectl get pv

PV已成功创建，其STATUS属性为 Available，这表示资源空闲，尚未被PVC申请使用

查看PV详情：kubectl describe pv examplefornfspv

在Source处可以看到具体的资源配置信息
PV定义完成后就可以创建PVC以申请使用存储卷资源

创建PVC

创建examplepvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: examplefornfspvc
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: "examplenfs"
  resources:
    requests:
      storage: 500Mi

解释:
1. kind表示要创建的资源对象，这里使用关键字 PersistentVolumeClaim。
2. spec表示该资源对象的具体设置。
  1. accessModes：定义对PV的访问模式。Kubernetes会给PVC 绑定满足此访问模式的PV。在本例中使用 ReadWriteMany，与之前定义的PV保持一致。
  2. storageClassName：表示要引用的PV资源的描述性分类名称。Kubernetes会根据这个名称将PVC绑定到符合条件的 PV。在本例中使用examplenfs，这与之前定义的PV保持一致。
  3. resources：定义PVC的资源参数。requests属性会设置具体资源需求，Kubernetes会给PVC绑定满足资源大小的PV。本例中设置为“storage: 500Mi”，这表示申请 500MiB（1MiB=2²⁰B， 1MB=10⁶B）的资源大小。之前我们创建的PV为1GiB（1GiB=2³⁰B，1GB=10⁹B），足够容纳该资源请求。
创建pvc : kubectl apply -f examplefornfspvc.yml
查看pvc：kubectl get pvc

STATUS属性为 Bound，表示已成功绑定到符合PVC资源申请条件的PV上.

VOLUME属性显示了绑定的PV的名称，这正是我们之前创建的examplefornfspv

pv的状态也发生了变化

其STATUS属性由之前的Available变为Bound，CLAIM属性由空值变为刚才创建的PVC

查看pvc详情：kubectl describe pvc {PVC名称}

使用PVC

PVC创建完成后，定义Pod并使用PVC引用的资源

创建exampledeployforpvc.yml文件。

apiVersion: apps/v1
kind: Deployment
metadata:<

最低0.47元/天解锁文章