kafka集群搭建以及运行kafka监控平台kmonitor

最新推荐文章于 2025-11-03 13:23:25 发布

原创最新推荐文章于 2025-11-03 13:23:25 发布 · 4.2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#kafka集群搭建 #kmonitor #zookeeper

hadoop 专栏收录该内容

45 篇文章

订阅专栏

本文详细介绍Kafka集群的搭建过程，包括配置broker-id、指定日志位置及Zookeeper连接等关键步骤，并介绍如何通过简单修改配置文件启动多个Kafka实例。此外，还介绍了Kafka监控平台KMonitor的部署方法，包括设置启动脚本、指定参数及通过Web界面监控集群状态。

kafka集群搭建

kafka依赖zookeeper运行，在搭建kafka系统之前需要搭建zookeeper集群，这里先略过zookeeper集群搭建的过程。另外，kafka需要运行在jdk环境中，需要安装jdk,这里也不细说了。

kafka集群搭建很简单，只需在各自机器上开启各自的实例即可，稍微需要注意一点的就是配置文件中指定broker-id，两个broker-id需要不一样。

vi config/server.properties

#设置broker-id
broker.id=2
#设置kafka日志位置
log.dirs=/data/kafka/kafka-logs
#设置zookeeperconnect
zookeeper.connect=linux-node1:2181,linux-node2:2181,linux-node3:2181

另一台的配置就是修改一下broker.id=3即可。

启动zookeeper(略)

启动kafka(每台机器上运行以下命令)

bin/kafka-server-start config/server.properties

启动成功，可以通过zookeeper客户端工具登录，查看brokers会有两个节点。

方便后面测试，创建一个test的topic

[root@linux-node3 kafka]# bin/kafka-topics.sh --create --zookeeper linux-node1:2181,linux-node2:2181,linux-node3:2181 --replication-factor 1 --partitions 1 --topic test
Created topic "test".

kafka监控平台kmonitor搭建

需要下载KafkaOffsetMonitor-assembly-0.2.0.jar,启动该监控程序需要指定一些参数，比如zk连接zookeeper的信息，port服务开启之后监听的端口。为了方便启动，这里设置一个启动脚本，每次只需运行该脚本即可。

设置启动脚本

vi startup.sh

#!/bin/sh
nohup java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk linux-node1:2181,linux-node2:2181,linux-node3:2181 \
--port 8090 \
--refresh 10.seconds \
--retain 1.days > /dev/null &

启动