kafka集群环境搭建

最新推荐文章于 2024-01-10 22:10:31 发布

_小尾寒羊

最新推荐文章于 2024-01-10 22:10:31 发布

阅读量564

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Linux kafka Zookeeper 文章标签： kafka集群环境

本文链接：https://blog.youkuaiyun.com/qq_34626859/article/details/97617835

Linux 同时被 3 个专栏收录

10 篇文章

订阅专栏

Zookeeper

4 篇文章

订阅专栏

kafka

2 篇文章

订阅专栏

本文详细介绍了如何搭建Zookeeper集群环境以及kafka集群。首先，参照已有的Zookeeper集群搭建步骤，接着在/usr/local目录下下载并配置kafka安装包，包括设置broker.id、listeners和zookeeper.connect等关键参数。在3台机器上完成相同配置，修改broker.id以区分节点。然后，配置系统环境变量，并启动zookeeper和kafka服务。最后，通过相关命令检查集群状态和创建topic，确保集群正常运行。

一、搭建Zookeeper集群环境

首先搭建Zookeeper集群环境，可以参考我前面的博客Zookeeper集群环境搭建

二、搭建kafka集群

1、进入到/usr/local目录
cd /usr/local

2、下载卡夫卡安装包
wget http://mirror.bit.edu.cn/apache/kafka/2.1.1/kafka_2.11-2.1.1.tgz

3、解压并重命名
tar -zxvf kafka_2.11-2.1.1.tgz
mvkafka_2.11-2.1.1.tgz kafka

4、修改配置文件
vi ./kafka/config/server.properties

需要修改的内容入如下：
broker.id=0
//ip改为本地的ip地址
listeners=PLAINTEXT://192.168.131.130:9092
//Zookeeper集群地址
zookeeper.connect=192.168.131.130:2181,192.168.131.131:2181,192.168.131.132:2181

我们这里使用3台机器搭建集群环境，所以另外两台也需要做同样的修改，将server.properties文件的borker.id分别改为0和1即可。listeners改为对应的ip地址。

5、在系统环境中配置环境变量
vi /etc/profile

// 在文件最下方添加kafka路径
export KAFKA_HOME=/usr/local/kafka
// 多路径PATH写法为PATH=${ZOOKEEPER_HOME}/bin:${KAFKA_HOME}/bin:$PATH
PATH=${KAFKA_HOME}/bin:$PATH
export PATH

6、修改完成后使环境变量生效
source /etc/profile

三、集群环境测试

1、开启3台虚拟机的zookeeper程序
/usr/local/zookeeper/bin/zkServer.sh start
开启成功后查看zookeeper集群的状态
/usr/local/zookeeper/bin/zkServer.sh status
出现Mode:follower或是Mode:leader则代表成功
2、在后台开启3台虚拟机的kafka程序(cd /usr/local/kafka)
./bin/kafka-server-start.sh -daemon config/server.properties
3、在其中一台虚拟机(192.168.131.130)创建topic
/usr/local/kafka/bin/kafka-topics.sh –create –zookeeper 192.168.131.130:2181 –replication-factor 3 –partitions 1 –topic my-replicated-topic
// 查看创建的topic信息
/usr/local/kafka/bin/kafka-topics.sh –describe –zookeeper 192.168.131.130:2181 –topic my-replicated-topic
更多相关命令查看卡夫卡中文官网：kafka中文官网