消息中间件kafka集群搭建

本文档详细介绍了如何在CentOS7环境下配置Kafka集群,包括设置三台Kafka服务器和一台Zookeeper服务器,通过修改brokerId、zookeeper.connect和listeners等配置实现集群的横向扩展。确保每个节点的配置正确无误后,依次启动服务,完成集群搭建。防火墙设置和Zookeeper服务的正常运行是成功启动的关键。
概述

集群配合分区可以实现kafka的横向扩展,提供性能。

环境:
centos7,三台kafka服务器,一台Zookeeper服务器 :
kafka:192.168.18.142、192.168.18.144、192.168.18.145
Zookeeper:192.168.18.143

分别修改kafka的配置文件server.properties

  1. 配置集群中的brokerId,同一个集群中的每个机器的id必须唯一。
    192.168.18.142 的broker.id=0
    192.168.18.142 的broker.id=1
    192.168.18.142 的broker.id=2

  2. 修改zookeeper的连接配置,三台都一样。
    zookeeper.connect=192.168.18.143:2181

  3. 修改listeners配置:如果配置了listeners,那么消息生产者和消费者会使用listeners的配置来进行消息的收发,如果不配置,会使用localhost,这个ip会记录到Zookeeper中供集群中的其他kafka节点用于集群通信,如果不配置就会使用localhost,但是其他节点用localhost只能访问本地,所以集群中的每个节点该配置项都要配置自己的ip供其他节点访问。
    就像Zookeeper集群要在每个节点中配置所有节点的ip端口那样,这里就是配置这个,只是他只需要配置自身的,然后发布到Zookeeper中就行。
    listeners=PLAINTEXT://192.168.18.142:9092
    listeners=PLAINTEXT://192.168.18.144:9092
    listeners=PLAINTEXT://192.168.18.145:9092

修改完以后就分别启动三个节点,前提是确保Zookeeper节点已经启动并对外服务,并且做好了相关防火墙设置。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
启动成功,然后可以切换到后台启动。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值