研发工程师玩转Kubernetes——使用emptyDir在同一Pod不同容器间共享数据

原创 已于 2024-07-21 11:46:47 修改 · 983 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kubernetes #容器 #云原生 #运维

于 2023-08-07 22:20:02 首次发布
文章详细描述了如何在Kubernetes中使用emptyDir实现同一Pod内不同容器之间的文件系统共享，并展示了如何通过设置Pod亲和性来确保同一Node上的Pod之间无法共享emptyDir。通过实例和代码展示了创建Deployment和验证效果的过程。

大纲

kubernets可以通过emptyDir实现在同一Pod的不同容器间共享文件系统。
在这里插入图片描述
正如它的名字，当Pod被创建时，emptyDir卷会被创建，这个时候它是一个空的文件夹；当Pod被删除时，emptyDir卷也会被永久删除。

同一Pod上不同容器之间共享

# bash
if [ -f /tempdir/lockfile ] && ! { set -C; 2>/dev/null >/tempdir/lockfile; }; then
    tail -f /tempdir/lockfile
else
    exec 3>/tempdir/lockfile
    if [ -n "$POD_NAME" ]; then
        pod_name=$POD_NAME
    else
        pod_name="unknown_pod"
    fi
    if [ -n "$CONTAINER_NAME" ]; then
        container_name=$CONTAINER_NAME
    else
        container_name="unknown_container"
    fi
    while true; do
        echo "$pod_name $container_name write something to lockfile" >&3
        sleep 5
    done
fi

我们使用上面这段脚本，会检测/tempdir/lockfile文件是否存在。如果不存在则创建这个文件，并获取Pod和Container名称，然后每隔5秒钟在/tempdir/lockfile写入一句话；如果存在，则不停打印新写入这个文件的内容。
然后使用下面的清单文件创建一个deployment

# emptydir_same_pod.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: emptydir-deployment
spec:
  selector:
    matchLabels:
      app: emptydir-container
  replicas: 1
  template:
    metadata:
      labels:
        app: emptydir-container
    spec:
      containers:
      - name: emptydir-container1
        image: busybox
        command: ["/bin/sh", "-c", "if [ -f /tempdir/lockfile ] && ! { set -C; 2>/dev/null >/tempdir/lockfile; }; then tail -f /tempdir/lockfile; else exec 3>/tempdir/lockfile; if [ -n \"$POD_NAME\" ]; then pod_name=$POD_NAME; else pod_name=\"unknown_pod\"; fi; if [ -n \"$CONTAINER_NAME\" ]; then container_name=$CONTAINER_NAME; else container_name=\"unknown_container\"; fi; while true; do echo \"$pod_name $container_name write something to lockfile\" >&3; sleep 5; done; fi;"]
        volumeMounts:
        - name: emptydir-volume
          mountPath: /tempdir
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: CONTAINER_NAME
          value: emptydir-container1
      - name: emptydir-container2
        image: busybox
        command: ["/bin/sh", "-c" ,"if [ -f /tempdir/lockfile ] && ! { set -C; 2>/dev/null >/tempdir/lockfile; }; then tail -f /tempdir/lockfile; else exec 3>/tempdir/lockfile; if [ -n \"$POD_NAME\" ]; then pod_name=$POD_NAME; else pod_name=\"unknown_pod\"; fi; if [ -n \"$CONTAINER_NAME\" ]; then container_name=$CONTAINER_NAME; else container_name=\"unknown_container\"; fi; while true; do echo \"$pod_name $container_name write something to lockfile\" >&3; sleep 5; done; fi;"]
        volumeMounts:
        - name: emptydir-volume
          mountPath: /tempdir
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: CONTAINER_NAME
          value: emptydir-container2
      volumes:
      - name: emptydir-volume
        emptyDir: 
          medium: Memory
          sizeLimit: 1Gi

这个Deployment会创建一个Pod，这个Pod会含有两个容器：emptydir-container1和emptydir-container2。
使用下面命令创建这个部署

kubectl create -f emptydir_same_pod.yaml

deployment.apps/emptydir-deployment created

然后登录到容器中查看/tempdir/lockfile文件的内容

kubectl exec pods/emptydir-deployment-75c6545df5-slznj --container emptydir-container1 -it -- tail -f /tempdir/lockfile

emptydir-deployment-75c6545df5-slznj emptydir-container1 write something to lockfile
emptydir-deployment-75c6545df5-slznj emptydir-container1 write something to lockfile
emptydir-deployment-75c6545df5-slznj emptydir-container1 write something to lockfile
……

kubectl exec pods/emptydir-deployment-75c6545df5-slznj --container emptydir-container2 -it -- tail -f /tempdir/lockfile

emptydir-deployment-75c6545df5-slznj emptydir-container1 write something to lockfile
emptydir-deployment-75c6545df5-slznj emptydir-container1 write something to lockfile
emptydir-deployment-75c6545df5-slznj emptydir-container1 write something to lockfile
……

可以看到emptydir-container1容器在持续写入内容；emptydir-container2因为检测到/tempdir/lockfile文件存在，就不会写入文件。
通过下面指令可以看到emptydir-container2的输出

kubectl logs pods/emptydir-deployment-75c6545df5-slznj --container emptydir-container2

emptydir-deployment-75c6545df5-slznj emptydir-container1 write something to lockfile
emptydir-deployment-75c6545df5-slznj emptydir-container1 write something to lockfile
emptydir-deployment-75c6545df5-slznj emptydir-container1 write something to lockfile
……

同一个Node的不同Pod间不可以共享

我们应用Pod亲和性，让Deployment在同一个Node上部署相同的Pod。

# emptydir_same_node.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: emptydir-same-node-deployment
spec:
  selector:
    matchLabels:
      app: emptydir-container
  replicas: 2
  template:
    metadata:
      labels:
        app: emptydir-container
    spec:
      affinity:
        podAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
                matchExpressions:
                - key: app
                  operator: In
                  values:
                  - emptydir-container
            topologyKey: "kubernetes.io/hostname"
      containers:
      - name: emptydir-container
        image: busybox
        command: ["/bin/sh", "-c", "if [ -f /tempdir/lockfile ] && ! { set -C; 2>/dev/null >/tempdir/lockfile; }; then tail -f /tempdir/lockfile; else exec 3>/tempdir/lockfile; if [ -n \"$POD_NAME\" ]; then pod_name=$POD_NAME; else pod_name=\"unknown_pod\"; fi; if [ -n \"$CONTAINER_NAME\" ]; then container_name=$CONTAINER_NAME; else container_name=\"unknown_container\"; fi; while true; do echo \"$pod_name $container_name write something to lockfile\" >&3; sleep 5; done; fi;"]
        volumeMounts:
        - name: emptydir-volume
          mountPath: /tempdir
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: CONTAINER_NAME
          value: emptydir-container
      volumes:
      - name: emptydir-volume
        emptyDir: 
          medium: Memory
          sizeLimit: 1Gi

创建好这个部署后，我们可以通过下面指令确认它们被部署在同一个Node（ubuntuc）上。

kubectl get pods -o wide

NAME                                             READY   STATUS    RESTARTS   AGE   IP            NODE      NOMINATED NODE   READINESS GATES
emptydir-same-node-deployment-6b6cfbb769-vhj7k   1/1     Running   0          34s   10.1.43.199   ubuntuc   <none>           <none>
emptydir-same-node-deployment-6b6cfbb769-mgh8h   1/1     Running   0          34s   10.1.43.198   ubuntuc   <none>           <none>

然后查看每个Pod上/tempdir/lockfile文件的内容

kubectl exec pods/emptydir-same-node-deployment-6b6cfbb769-mgh8h --container emptydir-container -it -- tail -f /tempdir/lockfile

emptydir-same-node-deployment-6b6cfbb769-mgh8h emptydir-container write something to lockfile
emptydir-same-node-deployment-6b6cfbb769-mgh8h emptydir-container write something to lockfile
emptydir-same-node-deployment-6b6cfbb769-mgh8h emptydir-container write something to lockfile
……

kubectl exec pods/emptydir-same-node-deployment-6b6cfbb769-vhj7k --container emptydir-container -it -- tail -f /tempdir/lockfile

emptydir-same-node-deployment-6b6cfbb769-vhj7k emptydir-container write something to lockfile
emptydir-same-node-deployment-6b6cfbb769-vhj7k emptydir-container write something to lockfile
emptydir-same-node-deployment-6b6cfbb769-vhj7k emptydir-container write something to lockfile
……

可以看到它们打印出来的Pod名称不同，即可以证明：同一个Node上不同Pod创建的emptyDir是不同的。

参考资料

【云原生】Kubernetes中如何通过Pod名称查询Docker容器ID，通过Docker容器ID查询Pod名称？
景天科技苑
08-30 2万+
在Kubernetes（k8s）环境中，Pod是最小的可部署、可管理的计算单元，它可以包含一个或多个容器。了解如何通过Pod名称查询对应的Docker容器ID，以及如何通过Docker容器ID反向查询Pod名称，对于开发和运维人员来说是非常重要的。本文将结合实际案例，详细阐述这两个操作的步骤和方法。
kubernetes Pod中的容器
weixin_39941298的博客
04-01 1423
Pod是kubernetes中最小的资源管理组件，Pod也是最小化运行容器化应用的资源对象。一个Pod代表着集群中运行的一个进程。kubernetes中其他大多数组件都是围绕着Pod来进行支撑和扩展Pod功能的，例如，用于管理Pod运行的StatefulSet和Deployment等控制器对象，用于暴露Pod应用的Service和Ingress对象，为Pod提供存储的PersistentVolume存储资源对象等。Pod由一个或者多个容器组成。这里的容器通常指运行应用的业务容器。
K8S初级入门系列之九-共享存储
恰恰虎的博客
07-22 3074
本章节我们介绍了K8S的共享存储。1、同一Pod的容器间共享存储，可以使用EmptyDir。2、同一节点的Pod的共享存储，可以使用HostPath。3、不同节点间Pod的共享存储，可以使用云计算厂商提供的特定存储，也可以使用标准的网络文件存储，这里重点介绍了NFS。4、为了解耦开发和运维人员的工作，K8S设计了PV和PVC，运维人员根据资源总量，申明式创建大量的PV，预先分配，开发人员提交PVC申请，K8S根据申请的资源，自动找到合适的PV，并进行绑定和实际资源分配。
K8S之存储卷
2301_76838634的博客
08-14 962
【代码】K8S之存储卷。
kubernetes的这几种存储卷，别再傻傻分不清了
weixin_45842494的博客
07-21 2328
存储卷类型 Kubernetes提供的存储卷（volume）属于Pod资源，共享于Pod内的所有容器，存储卷可在容器的文件系统之外存储相关的数据，也可以独立于Pod的生命周期实现数据持久化存储。 按照类型划分，大致分为三类： 如下是工作中使用到的存储，持久卷声明对应于持久化数据存储类型。 详细说明 1. EmptyDir EmptyDir字面意思理解为空目录。在容器启动时被创建，在容器移除时一并删除，因此不具有持久化存储的能力，但是如果作为同一个Pod内的多个容器间共享文件，或者作为容器数据的临时存储目
POD内的容器之间的资源共享
鲜少伟的博客
09-15 1840
摘要：本文通过实践描述并验证了pod内容器如何实现网络、文件、PID、UTC、mount的共享。
K8S学习笔记之Pod的Volume emptyDir和hostPath
dengxiangbao3167的博客
05-22 1176
0x00 Volume的类型 Volume是Kubernetes Pod中多个容器访问的共享目录。 Volume被定义在Pod上，被这个Pod里的多个容器挂在到相同或不同的路径下。 Volume的生命周期与Pod的生命周期相同，Pod内的容器停止和重启时不会影响Volume中的数据。 Kubernetes提供了许多Volume类型： emptyDir hostPath ...
精选资源
在Kubernetes中，Pod间实现共享内存的解决方案.docx
10-26
在 Kubernetes 中，Pod 间实现共享内存的解决方案 在 Kubernetes 中，Pod 间实现共享内存是实现高性能和低耦合性的重要解决方案。文章中，我们将讨论为什么要将公共基础组件 Agent 进行 DaemonSet 部署，Linux 共享...
精选资源
每天5分钟玩转Kubernetes.rar
08-02
1. **网络模型**：Kubernetes使用CNI（Container Network Interface）来实现容器间的通信，每个Pod有自己的IP地址，并且Pod间的通信是直接的，无需NAT转换。 2. **存储**：了解Persistent Volume（PV）和Persistent...
Kubernetes ——Namespace+ pod详解
看清所以看轻
08-16 3708
一、Namespace 1）Namespace概述 Namespace是对一组资源和对象的抽象集合，比如可以用来将系统内部的对象划分为不同的项目组或用户组。常见的pods, services, replication controllers和deployments等都是属于某一个namespace的（默认是default），而node, persistentVolumes等则不属于任何namespace。 Namespace常用来隔离不同的用户，比如Kubernetes自带的服务一般运行在kube-syst
使用emptyDir实现pod中多个容器数据共享
zhangshenglu1的博客
05-25 599
通过上面的查看，我们已经成功运行了pod。然后我们分别进入到write容器和read容器上查看挂在/data目录的下文件。从上面可以看出来，read和write容器中均可以看到存储emptyDir里面的数据。运行容器并且查看容器的运行情况。
Kubernetes 本地存储卷 emptyDir
小楼一夜听春雨，深巷明朝卖杏花
10-15 6239
Volume 本节我们讨论 Kubernetes 的存储模型 Volume，学习如何将各种持久化存储映射到容器。 我们经常会说：容器和 Pod 是短暂的。 其含义是它们的生命周期可能很短，会被频繁地销毁和创建。容器销毁时，保存在容器内部文件系统中的数据都会被清除。 为了持久化保存容器的数据，可以使用 Kubernetes Volume。 Volume 的生命周期独立于容器，Pod 中的容器可能被销毁和重建，但 Volume 会被保留。 本质上，Kubernetes Volume 是一个目录，这一点
Kubernetes详解（三十四）——Kubernetes emptyDir存储卷
永远是少年
05-01 2564
今天继续给大家介绍Linux运维相关知识，本文主要内容是Kubernetes emptyDir存储卷。 一、emptyDir存储卷简介 二、emptyDir存储卷创建 三、emptyDir存储卷查看
k8s 中存储之 emptyDir 卷
weixin_68398469的博客
10-06 3397
缓存空间，例如基于磁盘的归并排序。耗时较长的计算任务提供检查点，以便任务能方便地从崩溃前状态恢复执行。在 Web 服务器容器服务数据时，保存内容管理器容器获取的文件。使用两个容器组成一个 Pod 用 emptyDir 卷 实现 同 Pod 之间的数据共享使用 busybox 和 nginx 容器 组成一个Pod3.2 创建 Pod 清单文件命令只支持单一容器的Pod创建。对于多容器的Pod 只能手动添加第二个容器的部分。
14-k8s-基本存储之EmptyDir、HostPath、NFS
weixin_40496191的博客
10-16 2276
Volume的生命周期不和Pod中的单个容器的生命周期有关。EmptyDir在Pod被分配到Node时创建的，它的初始内容为空，并且无须指定宿主机上对应的目录文件，因为kubernetes会自动分配一个目录，当Pod销毁时，EmptyDir中的数据也会被永久删除，所以也被称为临时存储。​ 7）如果其他台也装nfs，可以将dnf服务器的存储路径挂载出去，共享挂载路径（可忽略）：mount -t nfs 192.168.248.11:/root/data/nfs /root/data/nfs。
k8s集群部署nacos,采用的是 emptyDir 临时目录挂载
qq_759035366的博客
08-03 553
【代码】k8s集群部署nacos,采用的是 emptyDir 临时目录挂载。
emptyDir、hostPath以及local volume都是Kubernetes的本地存储卷，那么有何不同？
热门推荐
watermelonbig的专栏
11-15 3万+
Kubernetes支持几十种类型的后端存储卷，其中有几种存储卷总是给人一种分不清楚它们之间有什么区别的感觉，尤其是local与hostPath这两种存储卷类型，看上去都像是node本地存储方案嘛。当然，还另有一种volume类型是emptyDir，也有相近之处。 在Docker容器时代，我们就对Volume很熟悉了，一般来说我们是通过创建Volume数据卷，然后挂载到指定容器的指定路径下，以实现...
K8s（八）持久化存储emptyDir、hostpath、nfs
qq_72569959的博客
01-22 837
主要介绍了k8s中的三种存储方式：emptyDir临时目录，hostpath存储、nfs网络存储的使用方法
K8S入门系列(18)-K8S存储之emptyDir+hostPath
记录知识、锤炼自我
11-13 2169
emptyDir 一个emptyDir 第一次创建是在一个pod被指定到具体node的时候，并且会一直存在在pod的生命周期当中，正如它的名字一样，它初始化是一个空的目录，pod中的容器都可以读写这个目录，这个目录可以被挂在到各个容器相同或者不相同的的路径下。当一个pod因为任何原因被移除的时候，这些数据会被永久删除。注意：一个容器崩溃了不会导致数据的丢失，因为容器的崩溃并不移除pod. emptyDir 磁盘的作用： scratch space, such as for a disk-based merg
在Kubernetes中，同一个EmptyDir卷能否安全地挂载到Pod内多个容器的不同路径？
最新发布
07-30
<think>我们正在讨论的是Kubernetes中的EmptyDir卷。问题：同一个EmptyDir卷是否可以安全地挂载到Pod内多个容器的不同路径？ 根据引用[3]：“kubernetes通过定义存储卷来满足这个需求，它们不像pod这样的顶级资源，而是定义为pod的一部分，并和pod共享相同的生命周期。这意味着在pod启动时创建卷，并在删除pod时销毁卷。因此，在容器重启期间，卷的内容不会变，新的容器可以识别前一个容器写入到卷中的所有文件。另外，如果一个pod包含多个容器，多个容器可以共享一个卷。” 所以，同一个EmptyDir卷可以被挂载到同一个Pod中的多个容器中。而且，由于这个卷是Pod级别的资源，所以多个容器挂载的是同一个存储卷实例。 但是，问题中问的是挂载到多个容器的不同路径。这意味着，同一个卷（同一个EmptyDir）被挂载到不同容器的不同路径下。例如： - 容器A将卷挂载到路径 /path1 - 容器B将卷挂载到路径 /path2 由于是同一个卷，所以无论挂载到哪个路径，实际上都是访问同一个存储空间。因此，容器A在/path1下写入的文件，在容器B的/path2下也能看到，反之亦然。 那么，这样是否安全？这取决于应用场景。 安全性分析： 1. **数据共享**：如果多个容器需要共享数据，那么这是安全的，并且正是EmptyDir的设计用途之一。例如，一个容器生成日志，另一个容器处理日志，它们可以通过共享的EmptyDir卷来传递日志文件。 2. **并发访问**：如果多个容器同时对同一个文件进行读写，那么需要应用程序自己处理文件锁或并发控制，否则可能会出现数据损坏。这与在同一个主机上多个进程访问同一个文件没有区别。 3. **路径隔离**：虽然挂载点路径不同，但实际存储是共享的。因此，不同容器中的应用程序可能会覆盖或干扰彼此的文件，如果它们不知道对方的存在。因此，需要确保应用程序不会在同一个卷中写入相同的文件路径，或者有明确的文件命名规则以避免冲突。 4. **使用场景**：EmptyDir卷通常用于临时存储，比如缓存、临时文件、进程间通信等。如果多个容器需要共享这些临时数据，那么共享同一个EmptyDir卷是合适的。 结论：从Kubernetes的角度，同一个EmptyDir卷挂载到多个容器的不同路径是安全的，因为Kubernetes会确保每个Pod的EmptyDir卷是独立的，并且多个容器挂载同一个卷是设计支持的功能。但是，应用程序需要能够处理并发访问和文件冲突，以避免数据损坏。 引用[5]提到：“数据挂载卷（Volume）的使用已成为服务运行不可或缺的一部分，尤其是在涉及配置文件、缓存目录、日志输出、数据库存储等场景下，其初始化逻辑与持久化机制的正确性直接影响业务的稳定性与可维护性。” 因此，在共享卷时，要特别注意初始化逻辑和持久化机制的正确性。 因此，答案是：可以安全地挂载，但需要应用程序设计时考虑共享存储的并发访问和文件冲突问题。 引用[3]支持了多个容器共享一个卷的可行性。 现在，根据要求，生成相关问题。 §§相关问题§§ 1. 在Kubernetes中，同一个EmptyDir卷被多个容器挂载时，如何避免文件访问冲突？ 2. EmptyDir卷的生命周期是怎样的？它何时会被清理？ 3. 除了EmptyDir，Kubernetes还有哪些类型的卷适合多容器共享？</think>### Kubernetes 中同一 EmptyDir 卷挂载到多个容器不同路径的安全性分析 在 Kubernetes 中，**同一个 EmptyDir 卷可以安全地挂载到 Pod 内多个容器的不同路径**，这是 Kubernetes 原生支持的特性，其安全性取决于以下关键机制： #### ✅ 安全的核心原理 1. **卷共享机制** 同一个 EmptyDir 卷在 Pod 内被多个容器挂载时： - 所有容器访问的是**同一份物理存储空间**（位于节点上的临时目录） - 不同容器通过各自挂载路径访问时，实际读写的是**相同存储内容** - 符合引用[3]的描述：*"如果一个pod包含多个容器，多个容器可以共享一个卷"*[^3] 2. **数据一致性保障** - 写入操作遵循 **POSIX 文件系统语义**，与本地磁盘行为一致 - 容器间通过文件锁（`flock()`）可实现并发控制 - 示例配置： ```yaml volumes: - name: shared-cache # 定义共享的EmptyDir卷 emptyDir: {} containers: - name: container-a volumeMounts: - name: shared-cache mountPath: /container-a/cache # 容器A的挂载路径 - name: container-b volumeMounts: - name: shared-cache mountPath: /container-b/cache # 容器B的挂载路径 ``` 3. **生命周期绑定** 如引用[3]所述：*"卷定义为pod的一部分，并和pod共享相同的生命周期"*[^3]，这保证了： - 卷在 Pod 启动时创建 - 所有容器停止后卷才销毁 - 容器重启不会丢失卷内数据 #### ⚠️ 需注意的风险场景 1. **文件路径冲突** 若不同容器向**相同文件路径**写入数据（如都尝试写 `/cache/temp.file`），会产生覆盖： ```mermaid graph LR A[容器A] -->|写入 /cache/temp.file| C[共享存储] B[容器B] -->|写入 /cache/temp.file| C C --> D[数据损坏] ``` **解决方案**：为各容器约定独立子目录（如 `/cache/container-a/`） 2. **并发写入竞争** 当多个容器同时写入同一文件时，需应用程序实现： - 文件锁定机制（如 `fcntl` 锁） - 原子写操作（如 `O_APPEND` 模式） 3. **存储介质限制** EmptyDir 使用节点本地存储，需注意： - 磁盘空间不足会导致写入失败 - SSD/HDD 性能差异影响 IO 吞吐量 #### ✔️ 最佳实践建议 1. **路径隔离策略** ```yaml volumeMounts: - name: shared-vol mountPath: /cache/container-a # 容器A使用独立子目录 - name: shared-vol mountPath: /cache/container-b # 容器B使用独立子目录 ``` 2. **只读挂载控制** 对不需要写入的容器启用 `readOnly`： ```yaml volumeMounts: - name: shared-vol mountPath: /cache readOnly: true # 安全限制写入 ``` 3. **资源配额管理** 通过 `sizeLimit` 防止磁盘耗尽： ```yaml volumes: - name: shared-vol emptyDir: sizeLimit: 1Gi # 限制卷大小 ``` > **结论**：同一 EmptyDir 卷挂载到多个容器不同路径在 **Kubernetes 设计上是安全的**，实际安全性取决于应用程序是否正确处理文件并发访问和路径隔离。建议配合文件锁机制和子目录隔离使用[^3][^5]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

breaksoftware

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值