Kafka集群搭建

前提：搭建zookeeper集群

一、解压

提取链接

提取码: vbvi

上传kafka安装到到一台机器解压并改名

tar -zxvf kafka_2.11-2.0.0.tgz

mv kafka_2.11-2.0.0 kafka

二、修改环境变量

三台机器修改环境变量
vi /etc/profile

export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin/:$PATH

使修改生效
source /etc/profile

三、修改配置文件

在kafka安装目录中创建kafka-logs 存放分区信息 !=存放日志目录,日志目录log4J-properties

vi server.properties文件

1. 修改 broker.id 每个kafka节点不同
   
2. 更改分区信息目录

3. 修改zk监听的节点
   

四、分发安装包

切换到安装包所在目录，分发安装kafka

scp -r /opt/kafka/ root@hadoop2:$PWD

scp -r /opt/kafka/ root@hadoop3:$PWD

修改其他节点的server.properties
broker.id唯一就可以

五、启动kafka集群

启动zookeeper集群

//三台机器启动
zkServer.sh start

启动kafka

//三台机器启动
kafka-server-start.sh -daemon /opt/kafka/config/server.properties

## 六、验证安装
//在其中一台机器创建一个topickafka-topics.sh --create --zookeeper hadoop1:2181 --partitions 1 --replication-factor 3 --topic test

hadoop1

hadoop2
hadoop3

//查看topic详情
kafka-topics.sh --describe --zookeeper hadoop1:2181 --topic test

说明：
分区0的有1，2，3三个副本，且三个副本都是可用副本，都在ISR同步队列中，2为Leader副本，集群搭建成功