Apache-kafka2.11集群搭建

最新推荐文章于 2025-08-07 11:03:22 发布

原创最新推荐文章于 2025-08-07 11:03:22 发布 · 3.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#Kafka #Zookeeper #hadoop #数据采集 #分布式消息队列

Hadoop 专栏收录该内容

8 篇文章

订阅专栏

本文介绍了如何在已有的Apache Hadoop 2.7.3集群上搭建Apache Kafka 2.11的分布式消息队列。首先，确保所有节点都具备Java环境，并不使用Kafka自带的Zookeeper，而是引用已搭建的Zookeeper集群。接着，通过Xshell上传并解压Kafka安装包到各节点，配置环境变量，修改server.properties文件，特别是broker.id和zookeeper.connect设置。最后，依次启动Zookeeper和Kafka服务，并通过创建topic、启动生产者和消费者进行测试，验证集群配置成功。

一、环境准备

1、本次使用机器为Apache-Hadoop2.7.3分布式集群搭建中的WAMaster、WASlave1、WASlave2节点；也可自行再准备三台linux主机或虚拟机(需要java环境)。

2、这里不使用kafka自带的Zookeeper，所以Zookeeper集群搭建请参考Zookeeper集群搭建

二、安装包准备

1、通过Xshell分别连接WAMaster、WASlave1、WASlave2后，通过lrzsz将kafka_2.11-0.10.2.1.tgz（下载地址：Kafka官网下载）压缩包上传至各节点

2、分别在各节点解压kafka压缩包

解压命令：tar -zxvf kafka_2.11-0.10.2.1.tgz

3、kafka安装目录结构及用途

bin linux/window下命令脚本目录
config kafka和自带Zookeeper配置文件
libs 依赖包
site-docs 相关文档说明

三、物理架构

四、配置

1、环境变量配置，分别在各节点为kafka配置环境变量
执行以下命令：vi ~/.bash_profile,在打开的文件中追加以下内容（图片标红内容），然后执行：source ~/.bash_profile使生效

2、kafka配置，各节点分别修改server.properties，主要修改broker.id和zookeeper.connect项
WAMaster节点修改（kafka安装目录config目录下）：vi server.properties
WASlave1节点修改（kafka安装目录config目录下）：vi server.properties

WASlave2节点修改（kafka安装目录config目录下）:vi server.properties

3、启动，首先分别启动WASlave2、WASlave3、WASlave4的Zookeeper服务，然后启动WAMaster、WASlave1、WASlave3的kafka服务
Zookeeper启动命令：zkServer.sh start
kafka启动命令(kafka安装目录下)：bin/kafka-server-start.sh -daemon config/server.properties；
执行jps命令查看进程是否启动：jps
4、测试

在WASlave1节点创建一个名为test的topic
bin/kafka-topics.sh --create --zookeeper 192.168.1.117:2181 --replication-factor 1 --partitions 1 --topic test
按以下命令启动一个生产者，然后在中端口输入任意字符
bin/kafka-console-producer.sh --broker-list WAMaster:9092 --topic test
在WAMaster节点启动一个消费者，会看到生产者终端输入的字符
bin/kafka-console-consumer.sh --zookeeper 192.168.1.119:2181 --topic test --from-beginning