脑裂是什么?Zookeeper是如何解决的?

关于ZooKeeper集群脑裂及其解决方案 本文来说下ZooKeeper集群脑裂及其解决方案 文章目录概述 概述 阅读详情

01 什么是脑裂?

脑裂(split-brain)就是“大脑分裂”,也就是本来一个“大脑”被拆分了两个或多个“大脑”,我们都知道,如果一个人有多个大脑,并且相互独立的话,那么会导致人体“手舞足蹈”,“不听使唤”。

脑裂通常会出现在集群环境中,比如ElasticSearch、Zookeeper集群,而这些集群环境有一个统一的特点,就是它们有一个大脑,比如ElasticSearch集群中有Master节点,Zookeeper集群中有Leader节点。

本篇文章着重来给大家讲一下Zookeeper中的脑裂问题,以及是如果解决脑裂问题的。

02 Zookeeper集群中的脑裂场景

对于一个集群,想要提高这个集群的可用性,通常会采用多机房部署,比如现在有一个由6台zkServer所组成的一个集群,部署在了两个机房:

image.png

正常情况下,此集群只会有一个Leader,那么如果机房之间的网络断了之后,两个机房内的zkServer还是可以相互通信的,如果不考虑过半机制,那么就会出现每个机房内部都将选出一个Leader。

image.png

这就相当于原本一个集群,被分成了两个集群,出现了两个“大脑”,这就是脑裂。对于这种情况,我们也可以看出来,原本应该是统一的一个集群对外提供服务的,现在变成了两个集群同时对外提供服务,如果过了一会,断了的网络突然联通了,那么此时就会出现问题了,两个集群刚刚都对外提供服务了,数据该怎么合并,数据冲突怎么解决等等问题。刚刚在说明脑裂场景时,有一个前提条件就是没有考虑过半机制,所以实际上Zookeeper集群中是不会出现脑裂问题的,而不会出现的原因就跟过半机制有关。

03 过半机制

在领导者选举的过程中,如果某台zkServer获得了超过半数的选票,则此zkServer就可以成为Leader了。

过半机制的源码实现其实非常简单:

public class QuorumMaj implements QuorumVerifier {     
       private static final Logger LOG = LoggerFactory.getLogger(QuorumMaj.class);          
       int half;          
       // n表示集群中zkServer的个数(准确的说是参与者的个数,参与者不包括观察者节点)     
       public QuorumMaj(int n){         
              this.half = n/2;     
       }     
       // 验证是否符合过半机制     
       public boolean containsQuorum(Set<Long> set){         
              // half是在构造方法里赋值的         
              // set.size()表示某台zkServer获得的票数         
              return (set.size() > half);     
       }      
}

大家仔细看一下上面方法中的注释,核心代码就是下面两行:

this.half = n/2; 
return (set.size() > half);

举个简单的例子: 如果现在集群中有5台zkServer,那么half=5/2=2,那么也就是说,领导者选举的过程中至少要有三台zkServer投了同一个zkServer,才会符合过半机制,才能选出来一个Leader。

那么有一个问题我们想一下,选举的过程中为什么一定要有一个过半机制验证? 因为这样不需要等待所有zkServer都投了同一个zkServer就可以选举出来一个Leader了,这样比较快,所以叫快速领导者选举算法呗。

那么再来想一个问题,过半机制中为什么是大于,而不是大于等于呢?

这就是更脑裂问题有关系了,比如回到上文出现脑裂问题的场景:

image.png

当机房中间的网络断掉之后,机房1内的三台服务器会进行领导者选举,但是此时过半机制的条件是set.size() > 3,也就是说至少要4台zkServer才能选出来一个Leader,所以对于机房1来说它不能选出一个Leader,同样机房2也不能选出一个Leader,这种情况下整个集群当机房间的网络断掉后,整个集群将没有Leader。

而如果过半机制的条件是set.size() >= 3,那么机房1和机房2都会选出一个Leader,这样就出现了脑裂。所以我们就知道了,为什么过半机制中是大于,而不是大于等于。就是为了防止脑裂。

如果假设我们现在只有5台机器,也部署在两个机房:

image.png

 

此时过半机制的条件是set.size() > 2,也就是至少要3台服务器才能选出一个Leader,此时机房件的网络断开了,对于机房1来说是没有影响的,Leader依然还是Leader,对于机房2来说是选不出来Leader的,此时整个集群中只有一个Leader。

所以,我们可以总结得出,有了过半机制,对于一个Zookeeper集群,要么没有Leader,要没只有1个Leader,这样就避免了脑裂问题。

有痛点才有创新,一个技术肯定都是为了解决某个痛点才出现的。 

 

 

出现脑裂的原因及解决方案 阅读详情

相关推荐

分布式系统脑裂问题解析与防御实践

分布式系统中的脑裂(Split-Brain)现象是当集群节点因网络分区(Network Partition)失去通信时,多个节点同时认为自己是主节点,导致系统状态严重不一致的技术难题。这种现象本质上是分布式一致性问题的极端表现,常发生在跨机房部署、网络闪断等场景。通过Quorum机制、隔离检测(Fencing)技术等工程实践方案,可以有效预防脑裂带来的数据一致性破坏和资源冲突问题。主流分布式系统如ZooKeeper、Redis Sentinel和Kubernetes都实现了各自的脑裂防护机制。在架构设计层面

weixin_33552698的博客 260

什么是脑裂问题?

什么是脑裂问题?

zawxse_的博客 4234

面试题:Zookeeper是如何解决脑裂问题

前言 这是分布式系统中一个很实际的问题,书上说的不是很详细,整理总结一下。 1、脑裂和假死 1.1 脑裂 官方定义:当一个集群的不同部分在同一时间都认为自己是活动的时候,我们就可以将这个现象称为脑裂症状。通俗的说,就是比如当你的 cluster 里面有两个结点,它们都知道在这个 cluster 里需要选举出一个 master。那么当它们两之间的通信完全没有问题的时候,就会达成共识,选出其中...

u013374645的博客 1万+

Zookeeper是如何解决脑裂问题的?

Zookeeper是如何解决脑裂问题的?

java1234的博客 1495

Zookeeper如何解决脑裂问题

什么是脑裂 脑裂(split-brain)就是“大脑分裂”,也就是本来一个“大脑”被拆分了两个或多个“大脑”,我们都知道,如果一个人有多个大脑,并且相互独立的话,那么会导致人体“手舞足蹈”,“不听使唤”。 脑裂通常会出现在集群环境中,比如ElasticSearch、Zookeeper集群,而这些集群环境有一个统一的特点,就是它们有一个大脑,比如ElasticSearch集群中有Master节点,Zookeeper集群中有Leader节点。 本篇文章着重来给大家讲一下Zookeeper中的脑裂问题,以及

kafka_zsxq的博客 523

ABB RobotWare数据包全版本归档与高效获取指南

记得去年有个汽车产线升级项目,客户现场用的是RobotWare 6.05.0166版本,而我的RobotStudio里只有最新的7.x系列。RobotWare数据包本质上就是ABB机器人的"操作系统镜像",不同版本的机器人控制器需要匹配特定版本的RobotWare。有个容易忽略的细节:偶数版本号(如6.04、6.06)通常比奇数版本更稳定,因为ABB的内部发布策略是偶数版用于正式产线,奇数版多用于测试新功能。最终实现了零停机升级,这个经验告诉我们:版本切换不是简单的覆盖安装,而是需要系统性的验证流程。

weixin_30764883的博客 280

Zookeeper是如何解决脑裂问题的?

Zookeeper是如何解决脑裂问题的?

java1234的博客 1503

智能驾驶域控(ADCU)方案介绍

本文主要对智能驾驶域控(ADCU)方案相关知识进行总结,以加深理解,及方便后续查漏补缺。

liuxu324的博客 1583

ZooKeeper 脑裂(Split-Brain)问题及解决方案

指的是由于网络分区(Network Partition)或节点故障,导致集群被分成多个独立的小集群,每个小集群都认为自己是。避免脑裂,但依赖 ZooKeeper 的上层系统(如 Hadoop HA)仍需额外防护。在 Hadoop NameNode HA 中,依赖 ZooKeeper 的。避免自身脑裂,但上层系统(如 Hadoop HA)仍需依赖。,并可能同时对外提供服务,从而引发数据不一致或服务冲突。合理配置后,脑裂问题可以完全避免。ZooKeeper 本身通过。ZooKeeper 通过。

ITHomeZSL的博客 828

Stata实战:5步搞定PSM倾向得分匹配(附完整代码与常见报错解决)

本文详细介绍了使用Stata进行PSM(倾向得分匹配)的5步实战流程,包括数据预处理、模型构建、匹配算法选择、匹配质量诊断和结果解释。提供完整代码示例和常见报错解决方案,帮助研究者高效完成实证分析,提升匹配成功率。

weixin_29214559的博客 593

ZYNQ开发(2)在Linux系统层上PL-PS通过AXI-DMA传输数据详细步骤及注意事项

参考的网络资料 https://github.com/bperez77/xilinx_axidma/tree/master https://gitlab.gnome.org/HosseinBeheshti/UlteraZed7EV/-/tree/master/petalinux/xilinx_axidma https://www.icode9.com/content-3-925319.html https://blog.youkuaiyun.com/weixin_38218267/article/details/1

aizaiyueye的专栏 3449

zookeeper如何解决脑裂问题

ZooKeeper 通过 Quorum 机制、Zab 协议、会话超时机制以及 Split-brain 防护来有效解决脑裂问题。它确保在发生网络分区时,集群中只有一部分(包含超过半数节点的那部分)能够继续处理请求,而其他分区则会停止服务,从而防止多个节点同时扮演 Leader 角色或同时处理写操作,保证了分布式系统中的一致性和可靠性。

u012534547的博客 1419

ADS负载牵引仿真避坑指南:从零开始搞定Loadpull模板设置

本文是一份针对ADS负载牵引仿真的深度避坑指南,详细解析了Loadpull模板从初始化配置到结果解读的全过程。文章重点阐述了如何根据设计目标灵活设置扫描圆、采样点等关键参数,以解决仿真不收敛、结果不完整等常见问题,并指导读者在功率与效率之间做出理性权衡,最终提取出用于匹配网络设计的最优负载阻抗。

weixin_29234423的博客 599

java脑裂_脑裂是什么?Zookeeper是如何解决的?

1、脑裂和假死1.1 脑裂官方定义:当一个集群的不同部分在同一时间都认为自己是活动的时候,我们就可以将这个现象称为脑裂症状。通俗的说,就是比如当你的 cluster 里面有两个结点,它们都知道在这个 cluster 里需要选举出一个 master。那么当它们两之间的通信完全没有问题的时候,就会达成共识,选出其中一个作为 master。但是如果它们之间的通信出了问题,那么两个结点都会觉得现在没有 m...

weixin_39739661的博客 1532

销售预测的方法与模型(三)丨安全库存与再订货(补货)

较高的 Z 值对应较高的服务水平(例如,服务水平 99% 对应 Z 值 2.33),意味着企业希望更低的缺货风险,因此需要更高的安全库存。在再订货点的管理中,考虑到供应商交货的不确定性,通常需要结合安全库存,以防止在交货期间库存用尽。要对L开根号,根号L表示交货周期越长,企业需要的安全库存越多,因为在较长的供应期内,需求波动的累积效应更明显。举例:供应商的交期服从标准差为2件/天的正态分布,顾客需求为50件/天的正态分布,若要客户服务水平达到 90%,安全库存量应该是多少?下面介绍几种核心的模型与公式。

weixin_45675709的博客 1537

DDD系列 - 第12讲 如何在DDD中实现Query服务(轻量化CQRS)

轻量化CQRS、整合Repository和DAO的优势。

罗小爬的技术宝书 268

zookeeper脑裂解决方案总结

zookeeper脑裂解决方案:避免这种情况其实也很简单,在slaver切换的时候不在检查到老的master出现问题后马上切换,而是在休眠一段足够的时间,确保老的master已经获知变更并且做了相关的shutdown清理工作了然后再注册成为master就能避免这类问题了,这个休眠时间一般定义为与zookeeper定义的超时时间就够了,但是这段时间内系统可能是不可用的,但是相对于数据不一致的后果我想...

varyall的专栏 8854

【11】科曼医疗——科曼医疗 嵌入式--面试,校招,面试问答记录

科曼医疗嵌入式校招面试记录:3位面试官分别考察应用层技术、底层技术和HR面。技术问题涵盖C++特性(多态、虚函数、指针与引用区别)、内存管理(malloc与new对比)、嵌入式基础(51最小系统、IIC/SPI协议)及项目经验(智能黑板擦专利项目)。同时考察了Linux使用经验、STM32开发及嵌入式操作系统认知。最后环节应聘者询问了开发环境及面试流程。面试内容全面覆盖嵌入式开发核心知识点。

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 1253

ZooKeeper集群脑裂问题,如何解决?

比如4个节点的集群,它的Quorums = 3,Quorums要超过3,相当于集群的容忍度还是1,如果2个节点失效,那么整个集群还是无效的。比如提供一个参考的IP地址,心跳机制断开时,节点各自ping一下参考IP,如果ping不通,那么表示该节点网络已经出现问题,则该节点需要自行退出争抢资源,释放占有的共享资源,将服务的提供功能让给功能更全面的节点。如果有4个节点,那么挂掉1个节点,剩下3个,超过半数,可以重新选举。如果有3个节点,那么挂掉1个节点,还有剩下2个正常节点,超过半数,可以重新选举,正常服务。

z69183787的专栏 345

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Zookeeper(36)Zookeeper的脑裂问题如何解决?

通过上述配置和代码示例,我们可以了解如何解决 Zookeeper 的脑裂问题,并确保在脑裂情况下仍能保证数据一致性和高可用性。合理配置 Zookeeper 集群、使用多数派机制和 Zab 协议、以及使用 Curator 客户端库实现分布式锁,都是有效的方法。通过这些措施,能够确保 Zookeeper 在面对脑裂问题时仍能提供高效、可靠的协调服务。编写自动化脚本进行监控和处理,也能够提高系统的可靠性和自动化程度。

qq_43012298的博客 1495

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Zookeeper是如何解决脑裂问题

通过Quorums机制来防止脑裂和假死,当leader挂掉之后,可以重新选举出新的leader节点使整个集群达成一致;当出现假死现象时,通过epoch大小来拒绝旧的leader发起的请求,在前面也已经讲到过,这个时候,重新恢复通信的老的leader节点会进入恢复模式,与新的leader节点做数据同步,perfect。

changJiangRong的博客 718

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

上一篇: Redis为什么这么快?一文带你深入了解Redis!
下一篇: MySQL锁机制——你想知道的都在这了!
加班不秃顶
博客等级 码龄7年 1822粉丝 599原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值