Hadoop学习笔记:一致性服务系统Zookeeper

Zookeeper是一个开源的一致性服务系统,用于解决分布式集群中的一致性问题。它采用类似文件系统的数据模型,提供永久节点、临时节点和顺序节点。Zookeeper集群由Leader、Follower和Observer角色组成,确保高可用性和数据一致性。在HDFS和Kafka等系统中,Zookeeper用于管理NameNode的主备切换和Topic的主从选举。此外,Zookeeper常用于配置管理、集群管理和分布式锁等场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Zookeeper背景

单节点的系统是不存在不一致情况的,分布式系统会出现不一致情况。在大规模集群中,各个节点在应用执行时会出现各种情况,造成在执行一个任务的时候,有些成功了,有些失败了,这样就出现了不一致的情况。比如A,B,C三个节点都存储了TEST=10,一个应用更新TEST=20,A和C成功了,B没成功,那么A和C认为TEST=20,而B认为TEST=10,这就出现了不一致情况。
Zookeeper是Google Chubby的开源实现,解决分布式集群中应用系统的一致性问题,类似于文件系统的目录节点树方式的数据存储,Hadoop中使用Zookeeper的系统有Yarn、HDFS、HBase和Kafka。

Zookeeper数据模型

类似于一个标准的文件系统,每个节点为一个Znode,每个 Znode 可以存储数据。Znode 可以被监控,一旦变化可以通知设置监控的客户端,包括存储的数据的修改和子节点目录的变化。
在这里插入图片描述
Znode可以类比文件,Znode类型包括永久节点、临时节点和顺序节点:
1)永久节点:永久节点建完以后永远存在,除非把它删除;
2)临时节点:一旦创建这个 Znode 的客户端与服务器失去联系,这个
Znode 也将自动删除,HDFS中的Active NameNode就是临时节点;
3)顺序节点:Znode 的名字可以自动编号,如App1已经存在,再创建的话将会自动命名为 App2,相当于分布式系统中的读写锁:读的时候,写要等待;写的时候,读要等待。

Zookeeper架构

Zookeeper集群主要角色有Leader,Follower,Observer

评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值