Zookeeper 学习总结(一)

本文介绍了Zookeeper在分布式系统中的作用,包括解决分布式一致性问题、提供分布式协调服务及支持分布式事务。同时,深入探讨了其背后的paxos算法和ZAB协议,并详细解释了HDFS、HBase等大数据组件如何利用Zookeeper实现高可用性和元数据存储。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、简介
Zookeeper解决的问题:
  分布式一致:
    特点:
    分布性:集群中各个节点处于不同的机器上;
    对等性:客户端在集群中任意一个节点所能获取到的数据相同;
    并发性:
    高可用性:集群在发生故障时可以快速恢复并恢复集群的数据;
    
  分布式协调:使软件或集群进行协同工作;
  分布式事务:在分布式环境下保持操作的原子性;

Zookeeper与其他大数据组件:
HDFS的高可用是利用Zookeeper完成的;
HBase、kafka、Storm都是利用Zookeeper来存储元数据;

二、paxos算法和ZAB协议
  paxos算法是一种基于消息传递且具有高容错性的一致性算法,是目前公认的最有效的解决分布式一致性问题的算法之一;
  paxos可以快速且准确的在集群内部对数据的值达成一致;
  每一个提案(请求)由 [有序编号,值] 组成;
  paxos算法可以有数学归纳法证明;
  
  ZAB协议可以算是paxos算法的一个实现,但有区别。分为leader、follower和observer三种角色,主从架构。
  leader为主,通过选举机制选举
  observer不参与选举,只进行数据存储,在进行负载均衡时会用到;
  leader进程会等待超过半数的follower角色做出正确的反馈时才会将一个提案提交;

Zookeeper采用Java语言编写,内部采用ZAB协议,采用TCP长连接session会话,使用树形结构的znode节点,使用监听器watcher对客户端进行监听;

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cchangcs

谢谢你的支持~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值