记一次：K8s Zookeeper扩容到3节点时丢数据问题

最新推荐文章于 2025-04-06 08:38:03 发布
最新推荐文章于 2025-04-06 08:38:03 发布
阅读量475 收藏 6
点赞数 8
文章标签： kubernetes zookeeper 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fured/article/details/146802789
版权

1 背景

K8s扩容：从一节点扩容至三节点，运行在其上的zookeeper也需要扩容，从一节点扩容至三节点，增加高可用。

chart包：bitnami zookeeper 13.7.4

2 问题

扩容之前，zookeeper单节点上是有数据的，但是按照如下的扩容方式，将zookeeper扩容至三节点后，之前的旧数据没有了。

$ helm install zk zookeeper-13.7.4.tgz --set persistence.storageClass="local-storage"
$ kubectl exec zk-zookeeper-0 -it -- zkCli.sh
/opt/bitnami/java/bin/java
Connecting to localhost:2181
Welcome to ZooKeeper!
JLine support is enabled

WATCHER::

WatchedEvent state:SyncConnected type:None path:null zxid: -1
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1] create /fured-test mydata
Created /fured-test
[zk: localhost:2181(CONNECTED) 2] get /fured-test
mydata
[zk: localhost:2181(CONNECTED) 3] get /zookeeper/config

[zk: localhost:2181(CONNECTED) 4] quit

$ helm upgrade zk zookeeper-13.7.4.tgz --set persistence.storageClass="local-storage" --set replicaCount=3
$ kubectl exec zk-zookeeper-0 -it -- zkCli.sh
/opt/bitnami/java/bin/java
Connecting to localhost:2181
Welcome to ZooKeeper!
JLine support is enabled

WATCHER::

WatchedEvent state:SyncConnected type:None path:null zxid: -1
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1] get /fured-test   # 数据丢了
Node does not exist: /fured-test
[zk: localhost:2181(CONNECTED) 2] get /fured-test
Node does not exist: /fured-test
[zk: localhost:2181(CONNECTED) 3] get /zookeeper/config
server.1=zk-zookeeper-0.zk-zookeeper-headless.zk-new-3.svc.cluster.local:2888:3888:participant;0.0.0.0:2181
server.2=zk-zookeeper-1.zk-zookeeper-headless.zk-new-3.svc.cluster.local:2888:3888:participant;0.0.0.0:2181
server.3=zk-zookeeper-2.zk-zookeeper-headless.zk-new-3.svc.cluster.local:2888:3888:participant;0.0.0.0:2181
version=0
[zk: localhost:2181(CONNECTED) 4] quit

3 原因

k8s扩展时，先会启动新节点然后重启有改动的旧节点，当直接将zk从单节点扩展到三节点时会一次启动两个新节点，这时有两个节点的zk集群会直接选出leader节点，旧的单节点重启后直接成了follow节点，而数据同步只能是从leader节点同步到follow节点。所以旧节点始终无法成为leader节点导致其中的数据也没法复制到新启动的zk节点。

$ helm install -n zk-test zk zookeeper-13.7.4.tgz --set persistence.storageClass="local-storage"
$ helm upgrade -n zk-test zk zookeeper-13.7.4.tgz --set persistence.storageClass="local-storage" --set replicaCount=3
$ kubectl -n  zk-test exec zk-zookeeper-2 -it -- zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Error contacting service. It is probably not running.
command terminated with exit code 1
$ kubectl -n  zk-test exec zk-zookeeper-1 -it -- zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
$ kubectl -n  zk-test exec zk-zookeeper-2 -it -- zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader   # 第三个节点直接成leader了
$ kubectl -n  zk-test exec zk-zookeeper-0 -it -- zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Error contacting service. It is probably not running.
command terminated with exit code 1
$ kubectl -n  zk-test exec zk-zookeeper-0 -it -- zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower  # 旧节点重启后 直接时follower

4 解决

逐步扩容，将zk先扩成两个节点，再扩成3个节点：扩充两节点时会启动1个新节点，此时无法确立哪个是主节点，等旧节点重启后，旧节点的ZXID更大（因为旧节点有数据所以事务ID更大），所以会将旧节点选举为leader节点，从而将旧数据同步到新节点，第三个节点启动后，会依次重启，之前的第二个和第一个，第二个启动成功后，第二个就是leader（数据会同步给第三个），第一个启动成功后，第三个成了leader

$ helm install -n zk-test zk zookeeper-13.7.4.tgz --set persistence.storageClass="local-storage"
$ kubectl -n  zk-test exec zk-zookeeper-0 -it -- zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: standalone  # 单节点模式
$ kubectl -n zk-test exec zk-zookeeper-0 -it -- zkCli.sh
/opt/bitnami/java/bin/java
Connecting to localhost:2181
creWelcome to ZooKeeper!
JLine support is enabled
ate[zk: localhost:2181(CONNECTING) 0]
WATCHER::

WatchedEvent state:SyncConnected type:None path:null zxid: -1
create
create [-s] [-e] [-c] [-t ttl] path [data] [acl]
[zk: localhost:2181(CONNECTED) 1] create /fured-test mydata
Created /fured-test
[zk: localhost:2181(CONNECTED) 2] get /fured-test
mydata
$ helm upgrade -n zk-test zk zookeeper-13.7.4.tgz --set persistence.storageClass="local-storage" --set replicaCount=2
$ kubectl -n  zk-test exec zk-zookeeper-1 -it -- zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower  # 新启动的第二个节点为follower
$ kubectl -n  zk-test exec zk-zookeeper-0 -it -- zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader  # 旧节点成了leader
$ helm upgrade -n zk-test zk zookeeper-13.7.4.tgz --set persistence.storageClass="local-storage" --set replicaCount=3
$ kubectl -n  zk-test exec zk-zookeeper-1 -it -- zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader  # 第二个节点成了leader
$ kubectl -n  zk-test exec zk-zookeeper-2 -it -- zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower  # 第三个节点是follower
$ kubectl -n  zk-test exec zk-zookeeper-0 -it -- zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Error contacting service. It is probably not running.
command terminated with exit code 1  # 第二个节点成为leader时 第一个节点还在重启
$ kubectl -n zk-test get pod
NAME             READY   STATUS    RESTARTS   AGE
zk-zookeeper-0   1/1     Running   0          77s
zk-zookeeper-1   1/1     Running   0          101s
zk-zookeeper-2   1/1     Running   0          2m12s
# 可以从三个pod运行时间看出启动顺序

fured
关注
大数据NiFi（七）：NiFi集群页面管理节点操作
Lansonli（蓝深李）的博客
01-04 661
当“删除节点”后，页面中不再显示当前节点信息，在当前节点重启NiFi服务后，该节点重新加入NiFi集群中，那么如何彻底在NiFi集群中删除一个节点呢？可以在状态为“Offloading”的节点上重新启动NiFi服务或者点击“Connect”将该节点重新加入到集群中，也可以点击“删除-Delete”将该节点删除。点击“Delete”删除当前集群的节点，该节点在页面中不再显示，并且重新启动删除节点上的NiFi服务后，当前节点会重新加入集群。断开节点之后，可以对断开节点进行卸载、删除操作。
zookeeper集群节点热扩容和迁移详解
杂货铺子
09-16 976
推荐阅读 Helm3（K8S 资源对象管理工具）视频教程：https://edu.youkuaiyun.com/course/detail/32506 Helm3（K8S 资源对象管理工具）博客专栏：https://blog.youkuaiyun.com/xzk9381/category_10895812.html 本文原文链接：https://blog.youkuaiyun.com/xzk9381/article/details/120332702，转载请注明出处。如有发现文章中的任何问题，欢迎评论区留言。 Zookeeper 集群.
有状态软件如何在 k8s 上快速扩容甚至自动扩容
east4ming的博客
12-07 2216
概述 在传统的虚机/物理机环境里, 如果我们想要对一个有状态应用扩容, 我们需要做哪些步骤? 申请虚机/物理机 安装依赖 下载安装包 按规范配置主机名, hosts 配置网络: 包括域名, DNS, 虚 ip, 防火墙... 配置监控 今天虚机环境上出现了问题, 是因为 RabbitMQ 资源不足. 手动扩容的过程中花费了较长的时间. 但是在 K8S 上, 有状态应用的扩容就很简单, YAML 里改一下replicas副本数, 等不到 1min 就扩容完毕. 当然, 最基本的: 下镜像, 启动 pod(
zookeeper和k8s_k8s部署有状态服务zookeeper示例
weixin_39531604的博客
12-22 748
我们先不考虑配置文件的前提下：apiVersion: apps/v1kind: StatefulSet #####固定hostname，有状态的服务使用这个 statefalset有个问题，就是如果那个pod不是running状态，这个主机名是无法解析的，这样就构成了一个死循环，我sed替换主机名的时候由于pod还不是running状态，她只能获取自己的主机名。无法获取别人的主机名，所以在zo...
K8S中手动扩容云盘数据卷
阿里云云栖号
09-19 1758
介绍： 云盘数据卷扩容包括以下几个部分： 云盘物理空间扩容，需要在云盘控制台操作； 文件系统扩容，需要挂载云盘到一个物理节点手动操作； PV、PVC Size更新，需要更新StorageClass、PVC； 注意：扩容云盘前需要为云盘打快照，以预防升级失败导致数据丢失； 云盘目前无法做到在线扩容，需要重启应用才可以实现，可以通过两种方法实现云盘扩容。下面以集群中部署Zookeeper为...
zookeeper动态扩缩容（无需重启）
cj_eryue的博客
02-20 2004
zookeeper动态扩/缩容的reconfig命令旨在不需要重启zookeeper中任何一个节点的情况下，对整个zookeeper集群进行动态扩/缩容。
基于k8s部署的clickhouse扩容后-启动失败
qq_42063179的博客
11-22 1204
环境：基于k8s部署clickhouse多节点集群 背景：插入数据提示no space left leave 1.扩容pvc 1）确认pvc所用的storageclass是否存在allowVolumeExpansion（允许动态扩展）字段，没有的话需要添加 kubectl describe sc xxxx 2 ）暂停占用pvc的pod kubectl scale deployment xxx --replicas=0 3）修改对应pvc大小，对应字段spec.resources.re...
K8S 搭建 Kafka:2.13-2.6.0 和 Zookeeper:3.6.2 集群
SURLIYA的博客
11-17 1162
K8S 搭建 Kafka:2.13-2.6.0 和 Zookeeper:3.6.2 集群 目录 K8S 搭建 Kafka:2.13-2.6.0 和 Zookeeper:3.6.2 集群 搭建 Kafka:2.13-2.6.0 和 Zookeeper:3.6.2 集群# 一、服务版本信息：# 二、制作 Zookeeper 镜像# 三、制作 Kafka 镜像# 四、创建命名空间# 五、创建 Secret# 六、...
K8s(Kubernetes)内容分享（一）：K8s(Kubernetes) 介绍
之乎者也·的博客
12-10 1171
容器运行时是 Kubernetes 中用于运行容器的底层组件，它负责将容器镜像转换为可以运行的进程，并提供容器的隔离、资源管理和网络管理等功能。同时，Kubernetes 还提供了一系列的资源管理机制，如资源调度、容器网络、存储编排等，控制整个容器集群的运行状态，并保证应用程序在容器集群中的高可用性和可靠性。Scheduler 是 Kubernetes 集群中的另一个重要组件，主要负责根据集群中各个节点的负载情况，以及用户的调度策略，将新创建的 Pod 分配到合适的节点上。
Kubernetes(K8S)基础知识
老猿Python
12-05 1357
本文介绍了Kubernetes(K8S)的基本概念、主要功能、架构以及网络通信相关的基础知识，在K8S中Pod是最小的管理单元，Pod内的容器间处于同一个网络空间内可以相互通过localhost+端口直接访问，同一个Node的Pod通过虚拟以太网桥接进行相互访问，跨Node的Pod间通过虚拟以太网对桥接到节点的以太网卡实现跨节点访问。K8S中Service是对外提供服务的虚拟IP加端口映射到集群节点的静态端囗，集群外部可以通过:访问Service。
Kubernetes：（十二）k8s的控制器们
ver_mouth__的博客
08-04 1004
StatefulSet创建的pod是有身份的！域名 nginx-statefulset-0.nginx主机名 nginx-statefulset-0存储 （PVC）
一步步学习k8s(二)
中國颜值半壁江山的博客
04-20 1258
一步步学习k8s（二） 一、Kubectl命令行工具使用详解 二、Kubernetes的CNI网络插件-flannel 三、Kubernetes的服务发现插件-coredns 四、Kubernetes的服务暴露插件-traeflk 五、Kubernetes的GUI管理工具-dashboard 六、Kubernetes的dashboard监控小插件-heapster 七、Kubernetes集群的生产维护经验 八、课程总结和展望 ...
K8s的资源管理
Hurry6的博客
04-02 613
在kubernetes中，所有的内容都抽象为资源，用户需要通过操作资源来管理kubernetes。kubernetes的本质上就是一个集群系统，用户可以在集群中部署各种服务，所谓的部署服务，其实就是在kubernetes集群中运行一个个的容器，并将指定的程序跑在容器中。kubernetes的最小管理单元是pod而不是容器，所以只能将容器放在Pod中，而kubernetes一般也不会直接管理Pod，而是通过Pod控制器来管理Pod的。Pod。
AI智算-K8s如何利用IB RDMA网络加速大模型分布式训练
Kason_iWiki
04-03 101
在AI人工智能领域，大模型的微调是提升性能不可或缺的一环。通过结合InfiniBand RDMA网络的高速互联、Kubernetes的云原生容器化部署，以及智能算力调度平台，可以打造一个高效、灵活且可扩展的分布式训练环境。
kubeadm部署 Kubernetes(k8s) 高可用集群 V1.28.2
tersky的专栏
04-05 649
Calico 在每一个计算节点利用 Linux Kernel 实现了一个高效的虚拟路由器（ vRouter） 来负责数据转发，而每个 vRouter 通过 BGP 协议负责把自己上运行的 workload 的路由信息向整个 Calico 网络内传播。因为我们的K8S集群已经初始化过了，再添加其他master 节点到集群中，首要添加是把已经初始化过的证书拷贝到其他master 节点上。docker的默认工作路径在/var/lib/docker ，最好不修改默认存储路径，可以做软链接。
基于K8s的演示用单机ML服务部署
weixin_43441742的博客
04-04 1001
这是仅用一台机器（比如一台MacBook）模拟在k8s上部署一个机器学习服务的演示用实例。项目地址：https://github.com/HarmoniaLeo/Local-K8s-ML-Demo。
K8S学习之基础七十三：Istio简介和部署
云上艺旅的博客
04-03 393
Istio简介部署
k8s1.24升级1.28
最新发布
nowzhangjunzhe的博客
04-06 175
这里只用3台服务器来做一个简单的集群，当前版本是1.24.17目标升级到1.28.17因为1.24已经更换过了容器运行时，所以之后的升级相对就会简单，只要递归升级从1.24-->1.25-->1.26-->1.27-->1.28。这期间只需要注意插件的版本就行。
离线部署kubesphere（已有k8s和私有harbor的基础上）
lzz的博客
04-04 403
本文是在已有k8s集群和私有仓库harbor上进行离线安装kubesphere；官网的离线教程写都很详细，但是在部署部份把搭建集群和搭建仓库也写一起了，跟着做踩了点坑，这里就记录下来希望可以帮助到需要的xdm。
k8s中，如何是zookeeper俩个容器同时调度到一个节点上
09-29
在Kubernetes中，如果您希望将两个Zookeeper容器调度到同一个节点上，您可以使用Pod亲和性（Pod Affinity）或节点亲和性（Node Affinity）。以下是具体步骤： ### 1. 使用Pod亲和性（Pod Affinity） Pod亲和性允许您指定一个Pod必须运行在一个特定的节点上，或者运行在一个已经运行特定Pod的节点上。对于您的用例，可以设置如下： ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: zookeeper-deployment spec: replicas: 2 selector: matchLabels: app: zookeeper template: metadata: labels: app: zookeeper spec: affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: "app" operator: In values: - zookeeper topologyKey: "kubernetes.io/hostname" containers: - name: zookeeper image: zookeeper:latest ``` 在这个配置中，`requiredDuringSchedulingIgnoredDuringExecution`确保了带有标签`app=zookeeper`的Pod只能被调度到已经运行同样带有`app=zookeeper`标签的Pod所在的节点上。`topologyKey: "kubernetes.io/hostname"`表示基于节点名称来匹配。 ### 2. 使用节点亲和性（Node Affinity） 节点亲和性允许您根据节点的标签来约束Pod的调度。例如，您可以手动为特定的节点添加标签，然后将Pod调度到这些节点上。 首先，为需要调度的节点添加标签： ```bash kubectl label nodes <node-name> zookeeper=true ``` 然后，在Deployment配置中使用节点选择器： ```yaml apiVersion: apps/v1 kind: Deployment metadata: name: zookeeper-deployment spec: replicas: 2 selector: matchLabels: app: zookeeper template: metadata: labels: app: zookeeper spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: "zookeeper" operator: In values: - "true" containers: - name: zookeeper image: zookeeper:latest ``` 在这个配置中，`requiredDuringSchedulingIgnoredDuringExecution`确保了Pod只会被调度到带有`zookeeper=true`标签的节点上。 ### 注意事项 1. **资源限制**：确保目标节点有足够的资源（CPU、内存等）来运行额外的容器。 2. **高可用性**：尽量避免将所有Zookeeper实例调度到一个节点上，以防止单点故障。如果可能，尽量使用多个节点以实现高可用性。 3. **标签管理**：在使用节点选择器时，请小心管理节点标签，以避免误操作导致其他应用无法正确调度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值