Kafka 监控

1.修改kafka启动命令

修改kafka-server-start.sh命令中

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
    #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

注意:修改之后在启动Kafka之前要分发之其他节点

 

2.上传压缩包kafka-eagle-bin-1.3.7.tar.gz到集群/opt/software目录


3.解压到本地

[luomk@hadoop102 software]$ tar -zxvf kafka-eagle-bin-1.3.7.tar.gz


4.进入刚才解压的目录

[luomk@hadoop102 kafka-eagle-bin-1.3.7]$ ll
总用量 82932
-rw-rw-r--. 1 luomk luomk 84920710 8月  13 23:00 kafka-eagle-web-1.3.7-bin.tar.gz


5.将kafka-eagle-web-1.3.7-bin.tar.gz解压至/opt/module


[luomk@hadoop102 kafka-eagle-bin-1.3.7]$ tar -zxvf kafka-eagle-web-1.3.7-bin.tar.gz -C /opt/module/


6.修改名称

[luomk@hadoop102 module]$ mv kafka-eagle-web-1.3.7/ eagle


7.给启动文件执行权限

[luomk@hadoop102 eagle]$ cd bin/
[luomk@hadoop102 bin]$ ll
总用量 1
-rw-r--r--. 1 luomk luomk 1848 8月  22 2017 ke.bat
-rw-r--r--. 1 luomk luomk 7190 7月  30 20:12 ke.s
[luomk@hadoop102 bin]$ chmod 777 ke.sh


8.修改配置文件

######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hadoop102:2181,hadoop103:2181,hadoop104:2181


######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka


######################################
# enable kafka metrics
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.sql.fix.error=false


######################################
# kafka jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://hadoop102:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=000000

9.添加环境变量

export KE_HOME=/opt/module/eagle
export PATH=$PATH:$KE_HOME/bin
注意:source /etc/profile

10.启动

[luomk@hadoop102 eagle]$ bin/ke.sh start
... ...
... ...
*******************************************************************
* Kafka Eagle Service has started success.
* Welcome, Now you can visit 'http://192.168.9.102:8048/ke'
* Account:admin ,Password:123456
*******************************************************************
* <Usage> ke.sh [start|status|stop|restart|stats] </Usage>
* <Usage> https://www.kafka-eagle.org/ </Usage>
*******************************************************************
[luomk@hadoop102 eagle]$

注意:启动之前需要先启动ZK以及KAFKA

 

11.登录页面查看监控数据

 

### Kafka 监控工具推荐 在选择 Kafka监控工具时,需要综合考虑其功能、性能以及稳定性。以下是几款常见的 Kafka 监控工具及其特点: #### 1. **Kafka Manager** Kafka Manager 是 LinkedIn 开源的一款 Kafka 管理和监控工具。它提供了丰富的功能,括集群管理、Topic 管理、消费者组管理等。此外,Kafka Manager 支持多集群管理,适合大规模生产环境使用[^1]。 - **功能**: - 集群管理:查看集群状态、Broker 信息。 - Topic 管理:创建、删除 Topic,调整分区数。 - 消费者组管理:监控消费者组的消费进度。 - 配置管理:修改 Kafka 配置参数。 - **启动方式**: ```bash bin/kafka-manager -Dconfig.file=<path-to-config> ``` #### 2. **Kafka Offset Monitor** Kafka Offset Monitor 是一款专注于消费者偏移量监控的工具。它可以直观地展示消费者组的消费进度,并支持历史数据查询[^2]。 - **功能**: - 查看消费者组信息。 - 查看 Topic 信息。 - 查看一定时间内的消费者消费状态。 - **启动方式**: ```bash java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar \ com.quantifind.kafka.offsetapp.OffsetGetterWeb \ --offsetStorage kafka \ --zk zk-server1,zk-server2 \ --port 8080 \ --refresh 10.seconds \ --retain 2.days ``` #### 3. **EFAK (Easy-Fast-Kafka)** EFAK 是一款轻量级的 Kafka 监控工具,支持实时监控 Kafka 集群的状态。它内置了 H2 数据库用于存储监控数据,并提供了 Web 界面进行可视化展示[^1]。 - **功能**: - 实时监控 Kafka 集群状态。 - 查看 Broker、Topic、消费者组信息。 - 提供告警功能。 - **注意事项**: - 默认情况下,H2 数据库的控制台运行在 `localhost:8082` 上[^1]。 #### 4. **Confluent Control Center** Confluent Control Center 是 Confluent 提供的企业级 Kafka 监控解决方案。它不仅支持 Kafka 集群的监控,还提供了流处理任务的监控功能。 - **功能**: - 实时监控 Kafka 集群状态。 - 流处理任务监控。 - 数据血缘关系分析。 - 告警与通知。 - **适用场景**: - 适合企业级用户,尤其是需要高级功能的场景。 #### 5. **Prometheus + Grafana** Prometheus 和 Grafana 是开源社区中广泛使用的监控组合。通过 Kafka 的 JMX 指标暴露,可以实现对 Kafka 集群的全面监控[^1]。 - **功能**: - 自定义监控指标。 - 实时告警。 - 数据可视化。 - **启动方式**: ```yaml # Prometheus 配置示例 scrape_configs: - job_name: 'kafka' static_configs: - targets: ['localhost:9090'] ``` --- ### 工具对比 | 工具名称 | 功能丰富度 | 易用性 | 适用场景 | |-----------------------|------------|--------|----------------------| | Kafka Manager | 高 | 中 | 多集群管理 | | Kafka Offset Monitor | 中 | 高 | 消费者偏移量监控 | | EFAK | 中 | 高 | 轻量级 Kafka 监控 | | Confluent Control Center | 高 | 低 | 企业级 Kafka 监控 | | Prometheus + Grafana | 高 | 低 | 自定义监控需求 | --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员学习圈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值