CentOS7 kafka环境搭建

一、zookeeper下载安装

1、下载：wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz

2、解压：tar –zxvf  apache-zookeeper-3.7.0-bin.tar.gz

3、在 apache-zookeeper-3.7.0-bin目录下创建两个文件夹 data，logs

4、进入conf目录，把zoo_sample.cfg文件复制一份名字改成zoo.cfg

cp zoo_sample.cfg zoo.cfg

5、修改zoo.cfg文件，需要修改以下几个地方。数据存放路径和日志路径可以自定义。

dataDir=/root/apache-zookeeper-3.7.0-bin/data
dataLogDir=/root/apache-zookeeper-3.7.0-bin/logs

6、启动zookeeper服务

../bin/zkServer.sh start

7、查看服务状

../bin/zkServer.sh status

二、kafka下载配置

1、下载kafka

wget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.12-2.8.0.tgz

2、解压

tar -zxvf kafka_2.12-2.8.0.tgz

3、进入配置目录

cd ./kafka_2.12-2.8.0/config 

4、拷贝服务参数设置

cp server.properties server1.properties

如果想启两个做集群的话可以拷贝多几个不同名的配置文件

5、修改配置文件的broker.id      listeners         log.dirs        zookeeper.connect  如果设置多个服务的话，broker.is、listeners、log.dirs必须不一样。

6、在bin目录下创建启动脚本start.sh

./kafka-server-start.sh  ../config/server1.properties

........(要启动多个服务里可以一起写在这)

7、后台启动服务

nohup sh start.sh &

三、测试kafka消息生产与消费

1、创建主题

 sh kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 -partitions 1 --topic test
2、查看有哪些主题

 sh kafka-topics.sh --list --zookeeper 127.0.0.1:2181
3、创建消息者监听

sh kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test --from-beginning

如果不需要从开头进行监听的话，把--from-beginning去掉，消费过的不会再消费。
4、创建生产者

sh kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test

然后输入消息回车，我们再查看消息者的终端也正常输出