【精】Kafka集群版安装与测试_kafka 192.168.56.103:9092-优快云博客

本文链接：https://blog.youkuaiyun.com/fenglixiong123/article/details/86307600

本文详细介绍如何在三台机器上搭建Kafka集群，包括Zookeeper的安装与配置，Kafka的安装，以及如何通过修改配置文件实现broker.id的唯一性，调整log位置，创建Topic，Producer和Consumer的操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

集群总览

》》》准备好zk服务器

》》》各台主机的broker.id设置成不同

》》》在server.properties中加入zk地址

》》》对log.dirs进行修改

------------------------------------------------------------------

1.准备三台机器

一台机器：安装好Zookeeper
三台机器：分别安装好kafka

2.修改server.properties

(1)修改broker.id
必须唯一
master:   broker.id = 101
   host.name=192.168.56.101
   zookeeper.connection=192.168.56.103:2181
slave:   broker.id = 102
   host.name=192.168.56.102
   zookeeper.connection=192.168.56.103:2181
slave:   broker.id = 103
   host.name=192.168.56.103
   zookeeper.connection=192.168.56.103:2181

(2)修改log位置
log.dirs=/home/log/kafka/kafka-logs

3.启动Zookeeper

zkServer.sh start
ls / 查看zk上面树形内容

4.关闭防火墙

service iptables stop

5.启动kafka

三台同时启动
nohup kafka-server-start.sh /home/software/kafka_2.11-0.10.0.1/config/server.properties &
jps查看是否启动

6.创建Topic

kafka-topics.sh --create --zookeeper 192.168.56.101:2181 --topic mytopic --partitions 3 --replication-factor 3
查看topic状态
kafka-topics.sh --describe --zookeeper 192.168.56.101:2181 --topic mytopic
kafka-topics.sh --list --zookeeper 192.168.56.101:2181

7.创建Producer

kafka-console-producer.sh --broker-list 192.168.56.102:9092,192.168.56.103:9092,192.168.56.104:9092 --topic mytopic

8.创建Consumer

kafka-console-consumer.sh --zookeeper 192.168.56.101:2181 --topic mytopic
kafka-console-consumer.sh --zookeeper 192.168.56.101:2181 --topic mytopic --from-beginning