KafKa搭建

Kafka集群搭建与配置详解

最新推荐文章于 2025-09-08 15:27:23 发布

原创最新推荐文章于 2025-09-08 15:27:23 发布 · 518 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #zookeeper #big data

大数据专栏收录该内容

32 篇文章

订阅专栏

本文档详细介绍了如何在三个节点上搭建Kafka集群，包括上传和解压Kafka压缩包，配置环境变量，修改server.properties文件设置broker.id和zookeeper.connect，以及启动zookeeper和kafka-broker。关键步骤包括确保每个节点的broker.id唯一，并在所有节点上正确分布和启动服务。

KafKa搭建

1.上传压缩包

在这里插入图片描述

2.解压，配置环境变量（master、node1、node2）

#解压
tar -xvf kafka_2.11-1.0.0.tgz -C /usr/local/soft/

在这里插入图片描述

#配置环境变量
vim /etc/profile
#追加以下内容
#kafka
export KAFKA_HOME=/usr/local/soft/kafka_2.11-1.0.0
export PATH=$KAFKA_HOME/bin:$PATH

#分发到node1、node2中
scp /etc/ node1:/etc/
scp /etc/ node2:/etc/

#三台节点中刷新
source /etc/profile

在这里插入图片描述

3.修改配置文件

#修改config/server.properties
    1、broker.id=0，每一个节点broker.id 要不一样
	2、zookeeper.connect=master:2181,node1:2181,node2:2181
	3、log.dirs=/usr/local/soft/kafka_2.11-1.0.0/data   消息存放的位置

在这里插入图片描述

4.分发到其它节点

scp -r kafka_2.11-1.0.0 node2:`pwd`
scp -r kafka_2.11-1.0.0 node1:`pwd`

5.修改每个节点中的broker.id master=0、node1=1、node2=2

node1

在这里插入图片描述

node2

在这里插入图片描述

6.启动

#启动前需要启动zookeeper(所有节点中启动)
zkServer.sh start

#查看状态
zkServer.sh status
#在每台节点中启动broker
kafka-server-start.sh -daemon  /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

在这里插入图片描述