Hadoop学习笔记：一致性服务系统Zookeeper

最新推荐文章于 2024-11-01 09:57:29 发布

原创

最新推荐文章于 2024-11-01 09:57:29 发布 · 694 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #Zookeeper #一致性 #分布式 #大数据

Zookeeper是一个开源的一致性服务系统，用于解决分布式集群中的一致性问题。它采用类似文件系统的数据模型，提供永久节点、临时节点和顺序节点。Zookeeper集群由Leader、Follower和Observer角色组成，确保高可用性和数据一致性。在HDFS和Kafka等系统中，Zookeeper用于管理NameNode的主备切换和Topic的主从选举。此外，Zookeeper常用于配置管理、集群管理和分布式锁等场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Zookeeper背景

单节点的系统是不存在不一致情况的，分布式系统会出现不一致情况。在大规模集群中，各个节点在应用执行时会出现各种情况，造成在执行一个任务的时候，有些成功了，有些失败了，这样就出现了不一致的情况。比如A,B,C三个节点都存储了TEST=10，一个应用更新TEST=20，A和C成功了，B没成功，那么A和C认为TEST=20，而B认为TEST=10，这就出现了不一致情况。
Zookeeper是Google Chubby的开源实现，解决分布式集群中应用系统的一致性问题，类似于文件系统的目录节点树方式的数据存储，Hadoop中使用Zookeeper的系统有Yarn、HDFS、HBase和Kafka。

Zookeeper数据模型

类似于一个标准的文件系统，每个节点为一个Znode，每个 Znode 可以存储数据。Znode 可以被监控，一旦变化可以通知设置监控的客户端，包括存储的数据的修改和子节点目录的变化。
在这里插入图片描述
Znode可以类比文件，Znode类型包括永久节点、临时节点和顺序节点：
1）永久节点：永久节点建完以后永远存在，除非把它删除；
2）临时节点：一旦创建这个 Znode 的客户端与服务器失去联系，这个
Znode 也将自动删除，HDFS中的Active NameNode就是临时节点；
3）顺序节点：Znode 的名字可以自动编号，如App1已经存在，再创建的话将会自动命名为 App2，相当于分布式系统中的读写锁：读的时候，写要等待；写的时候，读要等待。