Zookeeper大数据领域的万金油

Zookeeper大数据领域的万金油

就目前我学习到的大数据领域相关的框架而言，zookeeper的身影真可谓无处不在，希望看了我文章的同学，能意识到zookeeper在整个大数据学习中的重要作用，从而认真学习，奥利给！！！

0.zk在hadoop中的作用
为Namenode和ResourceManager提供高可用服务

1.zk在hbase中的作用
存储meta表的元信息
Hmaster的选举和Hmaster的管理工作都是依赖于Zookeeper的。

Hmaster的职能：
是集群所有RegionServer的管理者，负责表的DDL操作
分配regions到每个RegionServer，监控每个RegionServer的状态，负载均衡和故障转移

2.zk在kafka中的作用
Controller的选举和Controller的管理工作都是依赖于Zookeeper的。
Kfaka的数据会存储在Zookeeper上，
比如集群的broker信息（有哪些borker.id），
每个broker的每个topic信息（leader是谁，ISR集合有哪些等），
0.9版本之前消费者的Offset也在Zookeeper上存储，不过0.9版本之后存在Kafka的一个内置的topic上了

Controller的职能：
Kafka集群中有一个broker会被选举为Controller，
负责管理集群broker的上下线、所有topic的分区副本分配和leader选举等工作。