Centos 7 搭建 kafka 集群

最新推荐文章于 2025-06-10 15:57:02 发布

时间会告诉你答案，但不能重来

最新推荐文章于 2025-06-10 15:57:02 发布

阅读量672

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/dejunyang/article/details/79889264

Linux 专栏收录该内容

21 篇文章

订阅专栏

本文详细介绍如何在三台服务器上部署Kafka集群，并配置ZooKeeper进行消息传递。具体步骤包括安装前提条件、下载与解压Kafka软件包、配置各服务器参数及启动服务等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 前提条件
1.1 已经安装 ZooKeeper,ZooKeeper集群搭建:https://blog.youkuaiyun.com/dejunyang/article/details/79874491
1.2 已经安装 jdk 1.8或更高版本，jdk安装:https://blog.youkuaiyun.com/dejunyang/article/details/79826172
1.3 本次安装Kafka版本2.11-1.1.0
1.4 本次配置三台服务器,假设IP地址分别为
192.168.174.129
192.168.174.130
192.168.174.131
2. 下载
http://kafka.apache.org/downloads
3. 解压
tar zxvf ***.tgz
4. 配置
4.1 第一台服务器配置, 192.168.174.129
修改内容:
log.dirs,消息持久化的位置,例如:
log.dirs=/home/ydj/AppData/kafka-logs
zookeeper.connect,连接ZooKeeper地址,例如:
zookeeper.connect=192.168.174.129:2181,192.168.174.130:2181,192.168.174.131:2181
添加内容:
在log.retention.hours下边添加如下内容
message.max.byte=5848576
default.replication.factor=2
replication.fetch.max.bytes=5848576
4.2 第二台服务器配置, 192.168.174.130
修改内容:
broker.id=1
log.dirs,消息持久化的位置,例如:
log.dirs=/home/ydj/AppData/kafka-logs
zookeeper.connect,连接ZooKeeper地址,例如:
zookeeper.connect=192.168.174.129:2181,192.168.174.130:2181,192.168.174.131:2181
添加内容:
在log.retention.hours下边添加如下内容
message.max.byte=5848576
default.replication.factor=2
replication.fetch.max.bytes=5848576
4.3 第三台服务器配置, 192.168.174.131
修改内容:
broker.id=2
log.dirs,消息持久化的位置,例如:
log.dirs=/home/ydj/AppData/kafka-logs
zookeeper.connect,连接ZooKeeper地址,例如:
zookeeper.connect=192.168.174.129:2181,192.168.174.130:2181,192.168.174.131:2181
添加内容:
在log.retention.hours下边添加如下内容
message.max.byte=5848576
default.replication.factor=2
replication.fetch.max.bytes=5848576
5. 分别启动三台服务器的kafka服务
5.1 启动kafka之前首先启动ZooKeeper
5.2 启动kafka，在bin目录下执行命令
./kafka-server-start.sh