kafka集群

关注

原创最新推荐文章于 2026-02-26 00:46:48 发布 196 阅读 AI 写同款· GEO 优化 ›

kafka集群部署搭建【详细版】因项目需要，需搭建kafka集群进行验证工作。系统环境真的很重要，这会影响排查问题的效率。但是大部分博客编写的时候基本上都没有记录这些，这就会导致有些命令不是共通的。#1 系统版本#2 jdk版本至此，kafka集群搭建完毕，大家如果有什么疑问，请及时和我沟通交流。阅读详情

kafka安装

Kafka强依赖ZK，如果想要使用Kafka，就必须安装ZK
zk安装可参照 https://mp.youkuaiyun.com/mdeditor/96994147#

kafka官网：http://kafka.apache.org/quickstart
下载tar.gz到opt目录下
解压安装
tar -zxvf kafka_2.11-2.2.1.tgz
重命名文件夹
mv kafka_2.11-2.2.1 kafka

进入kafka目录下，创建一个logs文件夹
mkdir logs
进入kafka的config目录下，有一个server.properties，修改
broker.id=1
log.dirs=/opt/kafka/logs
zookeeper.connect=192.168.114.131:2181,192.168.114.132:2181,192.168.114.133:2181

注释：broker.id=1后面数字只需要唯一即可
zookeeper.connect后面是集群的zookeeper,不同的用,隔开

启动zookeeper

集群启动zookeeper(此处为自编写脚本，如何写请参考https://mp.youkuaiyun.com/mdeditor/96994147#)

zkstart.sh

启动成功后查看其状态
/opt/zookeeper/bin/zkServer.sh status

在这里插入图片描述

启动kafka

启动kafka
bin/kafka-server-start.sh config/server.properties

创建topic

重起一个终端

cd /opt/kafka
创建topic（2个分区，2个副本，名称为first）
bin/kafka-topics.sh --create --zookeeper hadoop100:2181 --partitions 2 --replication-factor 2 --topic first

查看topic
bin/kafka-topics.sh --list --zookeeper hadoop100:2181

分别在3台主机查看logs
cd logs
ls
可以看到其中一台有first-0 和first-1
另外2台分别只有其中一个

启动生产者

在hadoop100上开启生产者
bin/kafka-console-producer.sh --broker-list hadoop100:9092 --topic first
成功后可以输入数据了

启动消费者

在hadoop101上开启消费者
0.90版本版本之前
bin/kafka-console-consumer.sh --zookeeper hadoop100:2181 --topic first
0.90版本版本之后（新版本消费者不再交给zookeeper维护）
bin/kafka-console-consumer.sh --bootstrap-server hadoop100:9092 --topic first

hadoop100上发送消息后，hadoop101上会接受到消息

想要一开始的消息也接收到执行以下命令
bin/kafka-console-consumer.sh --bootstrap-server hadoop100:9092 --topic first --from-beginning