zookeeper集群 + kafka集群

最新推荐文章于 2025-10-27 20:23:31 发布

原创

最新推荐文章于 2025-10-27 20:23:31 发布 · 1.2k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#zookeeper #kafka #分布式

一.Zookeeper 概述

1.Zookeeper 定义

Zookeeper简称 ZK是分布式协调服务主要用来解决分布式应用集群中应用系统的数据一致性问题。能让分布式应用集群的每个实例同时获取到同一份信息的服务。

2.工作机制

注册中心+文件系统+通知机制

Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说 Zookeeper = 文件系统 + 通知机制。

3.Zookeeper 特点

（1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。

（2）Zookeeper集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。

（3）全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。

（4）更新请求顺序执行，来自同一个Client的更新请求按其发送顺序依次执行，即先进先出。

（5）数据更新原子性，一次数据更新要么成功，要么失败。

（6）实时性，在一定时间范围内，Client能读到最新数据。

4.Zookeeper 数据结构

ZooKeeper数据模型的结构与Linux文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。

5.Zookeeper 选举机制

服务器数量要求至少大于等于3的奇数台

第一次leader选举：先比较服务器的myid，谁的myid最大就能获取到其它服务器的选票，当选票超过服务器数量的半数时则当选leader，其它服务器则为follower。即使以后再有其它myid更大的服务器加入集群也不会影响之前的选举结果。

非第一次选举：

如果是follower故障，替换的新服务器继续作为follower，与现存的leader建立连接并同步数据

如果是leader故障，则需要重新选举新的leader，先比较当前存活服务器的epoch(参与选举的次

数)，

如有epoch最大的服务器则直接当选leader

若epoch有相同的服务器，再比较zxid(写操作的事务id)，如有zxid最大的服务器则直接当选leader

若zxid也有相同的服务器，继续比较sid(等同于myid)，最后由sid最大的服务器当选leader

SID：服务器ID。用来唯一标识一台ZooKeeper集群中的机器，每台机器不能重复，和myid一致。
ZXID：事务ID。ZXID是一个事务ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的ZXID值不一定完全一致，这和ZooKeeper服务器对于客户端“更新请求”的处理逻辑速度有关。
Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加

6.拓展：中间件

中间件实现应用解耦、异步处理
消息队列型（MQ）：Redis Kafka RabbitMQ RocketMQ ActiveMQ
Web应用型（代理）：Nginx HAProxy Tomcat PHP
消息队列的好处：应用解耦、异步处理、数据缓冲、流量削峰、可恢复等

二.部署 Zookeeper 集群

准备 3 台服务器做 Zookeeper 集群

192.168.10.10

192.168.10.20

192.168.10.30

1.初始化操作

systemctl stop firewalld
systemctl disable --now firewalld
setenforce 0
vim /etc/selinux/config

2.安装 JDK

java -version      #先查看是否已安装JDK，未安装执行下面命令

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

3.上传数据包

官方下载地址：https://archive.apache.org/dist/zookeeper/

4.安装 Zookeeper

mv apache-zookeeper-3.6.4-bin.tar.gz /opt/

cd /opt/

tar xf apache-zookeeper-3.6.4-bin.tar.gz
mv apache-zookeeper-3.6.4-bin/ /usr/local/zookeeper

5.修改配置文件

cd /usr/local/zookeeper/conf/

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

tickTime=2000 #通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
initLimit=10 #Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量），这里表示为10*2s
syncLimit=5 #Leader和Follower之间同步通信的超时时间，这里表示如果超过5*2s，Leader认为Follwer死掉，并从服务器列表中删除Follwer
dataDir=/usr/local/zookeeper-3.5.7/data ●修改，指定保存Zookeeper中的数据的目录，目录需要单独创建
dataLogDir=/usr/local/zookeeper-3.5.7/logs ●添加，指定存放日志的目录，目录需要单独创建
clientPort=2181 #客户端连接端口
#添加集群信息
server.1=192.168.10.10:3188:3288
server.2=192.168.10.20:3188:3288
server.3=192.168.10.30:3188:3288