Kafka集群安装

最新推荐文章于 2025-08-06 17:29:27 发布

走在大数据的边缘

最新推荐文章于 2025-08-06 17:29:27 发布

阅读量266

点赞数

CC 4.0 BY-SA版权

分类专栏： kafka 文章标签： kafka 服务器集群

本文链接：https://blog.youkuaiyun.com/huohuangfengcheng/article/details/77329830

kafka 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了如何在三台服务器上搭建Kafka集群，包括下载安装包、创建log目录、配置修改及启动服务，并提供了问题解决方法和集群验证过程，如创建与查看topic、消息的发送与消费。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Kafka安装

**
一、利用三台服务器做KAFKA集群。
服务器1 10.211.55.7 9092
服务器2 10.211.55.8 9092
服务器3 10.211.55.9 9092

1.1 下载 kafka_2.9.2-0.8.1
下载地址：https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz
分别在三台服务器创建kafka目录并且下载kafka压缩包

#mkdir /usr/local/kafka
#tar –zxvf kafka_2.9.2-0.8.1.tar.gz

1.2 创建log文件夹

#mkdir /usr/local/kafka/kafkalogs
1.3 配置kafka
#cd /usr/local/kafka/kafka_2.9.2-0.8.1/config
#vi server.properties

修改项如下：

broker.id=0      //当前机器在集群中的唯一标识
port=9092       //kafka对外提供服务的tcp端口
host.name=10.211.55.7    //主机IP地址
log.dirs=/usr/local/kafka/kafkalogs    //log存放目录
message.max.byte=5048576     //kafka一条消息容纳的消息最大为多少
default.replication.factor=2   //每个分区默认副本数量
replica.fetch.max.bytes=5048576   
zookeeper.connect=10.211.55.7:2181, 10.211.55.8:2181, 10.211.55.9:2181

1.4 启动kafka

# ./kafka-server-start.sh  -daemon ../config/server.properties   //后台启动运行

这里写图片描述
1.5 问题解决

[root@master ~]#  /export/kafka/bin/kafka-console-producer.sh  --broker-list 10.14.2.201:9092,10.14.2.202:9092,10.14.2.203:9092,10.14.2.204:9092    --topic test 
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
 SLF4J: Defaulting to no-operation (NOP) logger implementation
 SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

 # /export/kafka/bin/kafka-console-consumer.sh  --zookeeper   10.14.2.201:2181,10.14.2.202:2181,10.14.2.203:2181,10.14.2.204:2181  --topic test --from-beginning
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
 SLF4J: Defaulting to no-operation (NOP) logger implementation
 SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

解决方法：

下载slf4j-1.7.6.zip
 http://www.slf4j.org/dist/slf4j-1.7.6.zip
 解压
 unzip slf4j-1.7.6.zip
 把slf4j-nop-1.7.6.jar 包复制到kafka libs目录下面
 cd  slf4j-1.7.6
 cp slf4j-nop-1.7.6.jar  /export/kafka/libs/

二、KAFKA集群验证
2.1 创建topic

#./kafka-topics.sh --create --zookeeper 10.211.55.7:2181 --replication-factor 1 --partitions 1 --topic test

2.2 查看topic

# ./kafka-topics.sh --list --zookeeper 10.211.55.7:2181

2.3 开启发送者并发送消息

#./kafka-console-producer.sh --broker-list 10.211.55.7:9092 --topic test

这里写图片描述
2.4 开启消费者并接收消息

#./kafka-console-consumer.sh --zookeeper 10.211.55.8:2181 --topic test --from-beginning

这里写图片描述