kafka 集群部署(同一个zookeeper 集群管理不同的kafka集群)

kafka 集群部署(同一个zookeeper 集群管理不同的kafka集群)

kafka依赖于zookeeper，zookeeper 集群部署移步https://blog.youkuaiyun.com/jgoodLucky/article/details/97550020

1.将安装包上传至linux 操作系统（没有安装包的小伙伴们可以去下载
链接：https://pan.baidu.com/s/1un7DEAr6ENw55hRA7N4MxQ
提取码：c77b ）
2.解压安装包

tar -xvf kafka_2.11-0.11.0.0.tgz

3.修改conf 文件夹下文件 service.properties

#每个节点的broker.id都不相同，不同的broker.id 组成一个集群
broker.id=0
#数据保存时间，可以修改为自己想要的时间
log.retention.hours=48
#kafka 日志路径
log.dirs=/tmp/kafka-logs
#zookeeper 配置
zookeeper.connect=dn1:2181,dn2:2181,dn3:2181

4.将上述配置发送到另外两个节点,修改server.properties 文件中的broker.id为1，2即可

scp -r /opt/softWare/kafka/kafka_2.11-0.11.0.0 root@dn1:/opt/softWare/kafka
scp -r /opt/softWare/kafka/kafka_2.11-0.11.0.0 root@dn2:/opt/softWare/kafka

5.kafka启动(配置过环境变量，在server.properties 文件所在文件夹启动)，三节点都需要启动。启动之前确保zookeeper 是正常运行的

kafka-server-start.sh server.properties &

6.同一个zookeeper 集群管理不同的kafka集群
不同的kafka 依赖于同一个zookeeper集群，只需要修改server.properties 文件中的zookeeper.connect 配置，其他的配置可以不变。如上述配置，只需要修改

zookeeper.connect=dn1:2181,dn2:2181,dn3:2181/kafka2

将kafka集群的元素据保存在zookeeper 不同的路径即可