kafka集群安装

最新推荐文章于 2026-01-02 19:18:21 发布

原创最新推荐文章于 2026-01-02 19:18:21 发布 · 143 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #安装 #集群

kafka 专栏收录该内容

2 篇文章

订阅专栏

本文档详细介绍了如何在环境中安装kafka集群，包括解压安装包、配置文件、创建logs目录、设置环境变量以及启动和验证集群的步骤。

kafka的安装

环境依赖

zookeeper

1. 解压安装包

tar -zxvf kafka_2.11-0.11.0.0.tgz -C target_dir/

2. 修改文件名称

mv kafka_2.11-0.11.0.0/ kafka

3. 在kafka目录下创建logs文件夹

mkdir logs

4. 修改配置文件

vim kafka/config/server.properties

修改内容如下:

#broker的全局唯一编号，不能重复,与zookeeper的myid保持一致否则会出现无法连接错误
broker.id=0
#删除topic功能使能
delete.topic.enable=true
# 其中192.168.1.102为当前节点的ip
listeners=PLAINTEXT://192.168.1.102:9092
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径，此处为绝对路径
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址，写出集群所有节点的地址
zookeeper.connect=192.168.1.102:2181,192.168.1.103:2181,192.168.1.104:2181

5. 配置环境变量

sudo vim /etc/profile

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

6. 重复1-5操作至所有其他集群节点，注意id/路径/ip的修改

7. 启动集群

分别在每一台机器上执行命令来启动集群

bin/kafka-server-start.sh -daemon config/server.properties

8. 开始验证安装环境

查看当前服务器的所有topic

bin/kafka-topics.sh --zookeeper 192.168.1.102:2181 --list
创建topic

bin/kafka-topics.sh --zookeeper 192.168.1.102:2181 --create --replication-factor 3 --partitions 1 --topic first
创建消费者

bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.102:9092 --from-beginning --topic first
创建生产者

bin/kafka-console-producer.sh --broker-list 192.168.1.102:9092 --topic first
使用生产者发送信息
生产者控制台

消费者控制台