zookeeper学习笔记之-Zookeeper集群同步数据原理

最新推荐文章于 2025-10-10 19:48:12 发布
原创 最新推荐文章于 2025-10-10 19:48:12 发布 · 628 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#zookeeper

本文详细介绍了Zookeeper集群中Leader和Learner的数据同步过程。在服务器启动后，统一Epoch并开始数据同步，通过比较和交换ZXID来确保数据一致性。同步策略包括根据Learner和Leader的ZXID差异进行日志回滚、部分日志传输或快照同步。此外，还涉及到CommittedLog队列、日志文件和快照的角色。

Leader和Learner什么时候开始同步数据

当服务器启动时，完成了领导者选举后，确定了服务器的角色后（比如Leader、Follower、Observer），会先统一Epoch，然后就开始数据同步，最后再构造RequestProcessor，处理客户端的请求。

 

 

  1. Learner节点向Leader发送LearnerInfo数据(包含了acceptEpoch)，然后等待Leader响应
  2. Leader不停的从Learner节点接收到发送过来的LearnerInfo数据，比较Epoch，超过过半机制后统一epoch
  3. Leader同一Epoch后，向Learner节点，发送LEADERINFO数据（包含了新的epoch）,等待接收ACKEPOCH数据
  4. Learner节点接收到LEADERINFO数据后，修改自己的epoch，然后发送ACKEPOCH数据给Leader
  5. 当Leader节点接收到了大部分的ACKEPOCH数据后，就开始同步数据，Learner节点阻塞等待Leader节点发送数据过来进行同步
  6. Leader节点整理要同步的数据，把这些数据先会添加到queuedPackets队列中去，并且往队列中添加了一个NEWLEADER数据
  7. Leader节点开启一个线程，从queuedPackets队列中获取数据进行同步
  8. Learner节点接收数据进行同步，同步完之后，会接收到一个NEWLEADER数据，并返回给Leader一个ACK数据
  9. Leader节点接收到了超过一半的ack后，则运行一个while，负责从Learner接收命令
    10.Leader节点启动
    11.Follower节点启动

 

 

Leader和Learner要同步哪些数据

数据的同步的目的：Learner和Leader上的数据保持一致。那么就有可能：

最低0.47元/天 解锁文章
Zookeeper之数据同步原理
kylin
04-25 5755
Zookeeper数据同步 zk通过三种不同的 集群角色来组成整个高性能集群，在zk中，客户端会随机连接到zk集群中的一个节点，如果是读请求，就直接从当前节点中读取数据，如果是写请求，那么请求会被转发给leader提交事务，然后leader会广播事务，只要超过半数节点写入成功，那么写请求就会被提交（类2PC事务，2PC是全数节点ok) 问题： 集群的leader节点如何选举出来？ lea...
zookeeper的数据同步机制
qq_44802992的博客
03-02 1913
zookeeper的数据同步机制 zookeeper 的数据同步是为了保证各节点中数据的一至性，同步时涉及两个流程，一个是正常的客户端数据提交，另一个是集群某个节点宕机在恢复后的数据同步。 客户端写入请求： 写入请求的大至流程是，收leader接收客户端写请求，并同步给各个子节点。如下图： 但实际情况要复杂的多，比如client 它并不知道哪个节点是leader 有可能写的请求会发给follower ，由follower在转发给leader进行同步处理，如下图所示 客户端写入流程说明： client
使用 ZooKeeper 同步集群配置
weixin_34104341的博客
12-10 176
用 ZooKeeper 同步集群配置，当需要修改所有节点配置时，将配置更新到 ZooKeeper 的一个节点，引起这个节点数据发生变化， 其他所有需要同步配置的节点上的本地 Watcher 会立即发现节点状态的变化，并将最新数据更新到本地   把官方Demo 改了改，响应 Watcher 时用 ConfFileUtil 更新一下本地配置就可以了   [java] view pla...
Zookeeper集群数据是如何同步的？
最新发布
m0_73735578的博客
10-10 387
是一个开源的分布式协调工具，它能够提供高可靠性、高可用性的分布式数据存储和同步功能。其核心功能之一就是数据同步，它确保集群中各节点间的数据一致性。理解Zookeeper如何进行数据同步，有助于我们更好地使用其来进行分布式系统的管理与协调。
ZooKeeper学习之路 （八）ZooKeeper原理解析
weixin_34037977的博客
03-24 234
ZooKeeper中的各种角色 ZooKeeper与客户端 　　每个Server在工作过程中有三种状态：　　　　LOOKING：当前Server不知道leader是谁，正在搜寻　　　　LEADING：当前Server即为选举出来的leader　　　　FOLLOWING：leader已经选举出来，当前Server与之同步 Zookeeper节点数据操作流程     注：　　　...
Zookeeper集群数据是如何同步的?
java1234的博客
12-03 786
Zookeeper集群数据是如何同步的?
zookeeper学习笔记之-Zookeeper集群两阶段提交原理
huanglei_hacker的博客
07-26 1726
Leader、Follower、Observer中的RequestProcess整理： https://www.processon.com/view/link/5e993d5de0b34d6feab4b435 Zookeeper集群为了保证数据一致性，利用两阶段提交机制。 对于Leader节点和非Leader节点（Follower或Observer）在处理读写请求时是不一样的。 Leader节点 非Leader节点（Follower或...
zookeeper学习笔记之-Raft算法（一）：如何选举领导者？
huanglei_hacker的博客
07-25 1749
Raft算法（一）：如何选举领导者？ 参考动画更容易理解：http://thesecretlivesofdata.com/raft/（自备梯子） Raft算法官网：https://raft.github.io/ （官网上也有动画教程） Raft 算法属于 Multi-Paxos 算法，它是在兰伯特 Multi-Paxos 思想的基础上，做了一些简化和限制，比如增加了日志必须是连续的，只支持领导者、跟随者和候选人三种状态，在理解和算法实现上都相对容易许多。 除此之外，Raft 算法是现在分..
zookeeper完整学习笔记
03-28
Zookeeper 提供多种服务，如命名服务、配置管理、集群管理、选举算法、锁定和同步服务等。它维护着一个高度可靠的分布式数据注册表，即使部分节点失效，也能保证数据的可用性。Zookeeper 的原子性和顺序性保证了数据...
zookeeper学习笔记之-ZAB协议：如何实现操作的顺序性？
huanglei_hacker的博客
07-25 592
很多同学应该使用过 ZooKeeper，它是一个开源的分布式协调服务，比如你可以使用它进行配置管理、名字服务等等。在 ZooKeeper 中，数据是以节点的形式存储的。如果你要用 ZooKeeper 做配置管理，那么就需要在里面创建指定配置，假设创建节点"/geekbang"和"/geekbang/time"，步骤如下： [zk: localhost:2181(CONNECTED) 7] create /geekbang 123 Created /geekbang [zk: localhost
ZooKeeper集群数据同步
tangjieqing的博客
01-02 833
ZooKeeper 集群的数据同步过程是基于 Leader 节点和 Follower 节点之间的通信，使用 ZAB 协议确保数据的一致性和可靠性。所有的写操作都通过 Leader 进行，Leader 会将操作广播给 Follower 节点并等待确认，确保所有节点的数据一致性。ZooKeeper 的这种机制非常适合用于分布式系统中的协调任务，如配置管理、分布式锁和集群管理等。希望这篇文章能够帮助你理解 ZooKeeper 集群的数据同步过程及其实现方式。如果你有更多问题，欢迎继续提问！
Zookeeper的选举机制和同步机制超详细讲解
05-07 1546
前言 zookeeper相信大家都不陌生，很多分布式中间件都利用zk来提供分布式一致性协调的特性。dubbo官方推荐使用zk作为注册中心，zk也是hadoop和Hbase的重要组件。其他知名的开源中间件中也都出现了zk的身影。 有很多童鞋认识zk很久了，知道其基本理念，知道如何使用。但当面试时问到集群zk之间的选举和数据同步机制时，就陷入了盲区。 其实很多的分布式中间件的选举和同步，都和zk有异曲同工之妙。这篇文章我就来重点聊下关于zk集群之间的选举和同步机制。 ZK集群的部署 首先我们来看下半数
（十二）Zookeeper原理源码分析之集群数据同步（广播模式）流程原理分析
Armyyyyy丶的博客
04-13 703
目录 1.前话 2.Leader机器与Follower机器建立通信 2.1 相关角色及交互关系 2.2 建立通信交互流程图 3.Leader接收到客户端的Request请求 3.1 Leader机器RequestProcessor链 3.2 Leader接收Request请求并同步数据 4.Follower接收到客户端的Request请求 4.1 Follower机器RequestProcessor链 4.2 Follower接收Request请求并通过Leader同步数据 5.ZK集
【Zookeeper】zookeeper 原理和应用
人生所向，皆是美好
01-20 606
文章目录1. zookeeper原理解释1.1 集群角色描述1.2 Paxos 算法概述（ZAB协议）1.2.1 zookeeper 的全新集群选主1.2.2 zookeepr 的非全新集群选主1.3 数据同步1.4 zookeeper 工作流程1.4.1 leader 工作流程1.4.2 follower 工作流程1.4.3 observer 工作流程1.4.4 zookeeper 写数据流程2...
Zookeeper的同步机制与性能优化
AI天才研究院
01-24 366
1.背景介绍 1. 背景介绍 Apache Zookeeper是一个开源的分布式协调服务，它为分布式应用提供一致性、可靠性和原子性的数据管理。Zookeeper的同步机制是其核心功能之一，它确保Zookeeper集群中的所有节点都能够保持一致的状态。在分布式系统中，同步机制是非常重要的，因为它可以确保数据的一致性和可靠性。 在本文中，我们将深入探讨Zookeeper的同步机制和性能优化。我们...
Zookeeper 集群如何实现数据一致性和顺序性原理？
欢迎来到我的技术分享博客！这里将带你深入了解AI技术、Java架构设计、系统开发与优化等前沿技术内容。我专注于从实战经验
06-19 2112
一致性保证：通过领导节点的统一处理，保证了所有写请求的顺序性和一致性。事务确认机制：通过多数派确认（majority acknowledgment）机制，确保事务在提交前已被大多数节点接受，从而保证了数据的强一致性。高可用性：即使在部分节点故障的情况下，只要大多数节点存活，集群仍然能够继续服务。通过上述机制，Zookeeper 能够在分布式环境下实现数据的完整性和一致性，确保系统在面对网络分区和节点故障时仍然能够稳定运行。重试机制。
Zookeeper的原理（zk角色与选主过程与数据同步）
qichangjian的博客
03-05 3786
1. 集群的角色描述 2.ZooKeeper 工作流程 （1）Leader工作流程 Leader 主要有三个功能： 1、恢复数据 2、维持与 Learner 的心跳，接收 Learner 请求并判断 Learner 的请求消息类型 Learner 的消息类型主要： PING 消息：Learner 的心跳信息 REQUEST 消息：Follower 发送的提议信息，包括读写请求 ACK 消息：F...
zk集群的选举和数据的同步
qq_42987796的博客
01-07 1343
zab协议 zookeeper为了保证数据的⼀致性，使⽤了ZAB（Zookeeper Atomic Broadcast）协议，这个协议解决了Zookeeper的崩溃恢复和主从数据同步的问题。 集群的选举 集群刚启动的时候 在集群启动的时候，每个结点都会生成一张自己的选票，之后各个机器之间会将自己的选票发给其他机器，机器在拿到其他机器的选票的时候，会先对比选票中的事务id，事务id大的成为主节点的权重也更大，如果事务id都是一致的话，那么对比每台机器的serviceid,结点会选出一张最合理的选票，投到选票箱
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值