Kafka的安装与配置

1、上传压缩包到任意节点

2、解压，配置环境变量 所有节点都配置

tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/soft/

3、修改config/server.properties

1、broker.id=0，每一个节点broker.id 要不一样
2、zookeeper.connect=master:2181,node1:2181,node2:2181
3、log.dirs=/usr/local/soft/kafka_2.11-1.0.0/data   消息存放的位置

4、复制到其它节点 – 伪分布式不需要

scp -r kafka_2.11-1.0.0 node2:pwd
scp -r kafka_2.11-1.0.0 node1:pwd

5、修改每个节点 – 伪分布式不需要

broker.id master=0 node1=1 node2=2

将master的环境变量同步到node1,node2
scp -r /etc/profile node1:/etc/
scp -r /etc/profile node2:/etc/

在node1,node2中source
source /etc/profile

6、启动

1、启动zookeeper，  需要在所有节点启动
 zkServer.sh start

查看状态
zkServer.sh status

3，在每台节点启动broker，  kafka是去中心化的架构  
 -daemon 后台启动   在所有节点启动
kafka-server-start.sh -daemon  /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

重置kafka

前置:jps查找kafka进程号(本文以11312为例)
1、关闭kafka
kill -9 11312

2、删除元数据 zk
zkCli.sh
删除预kafka有关的所有信息
ls /
rmr /config
rmr /brokers

3、删除kafka的数据 所有节点都要删除
rm -rf /usr/local/soft/kafka_2.11-1.0.0/data

4 重启
kafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-1.0.0/config/server.properties