grafana实现kafka监控可视化

本文深入剖析Kafka的Broker、Topic及其配置,包括查看Broker列表、Topic分区与副本详情,以及消息生产和消费状态。通过实例脚本展示了如何检查Kafka集群状态,帮助新手理解其工作原理,降低操作复杂度。

先附上部分百度神搜结果:

展示topic列表:
./kafka-topics.sh --list --zookeeper 172.18.153.12:2188

查看消费情况:
./kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group groupname

对于新手来说,无疑是成吨的学习成本带来的压力,而且每次排查问题都要输入这么一大串指令,脑子有点不太够的样子。此时本次重点华丽丽地登场了。
在这里插入图片描述
接下来详细分析每一个指标的配置明细及功用。

Broker

缓存代理,Kafka集群中的一台或多台服务器统称broker,可以看到示例集群有3个broker,也就是集群由三台服务器节点组成。
脚本: kafka_brokers{instance="$instance"}
在这里插入图片描述

Topic

  • Topic是Kafka数据写入操作的基本单元,可以指定副本
  • 一个Topic包含一个或多个Partition,建Topic的时候可以手动指定Partition个数,个数与服务器个数相当
  • 每条消息属于且仅属于一个Topic
  • Producer发布数据时,必须指定将该消息发布到哪个Topic
  • Consumer订阅消息时,也必须指定订阅哪个Topic的信息

如下展示每个topic的分区数。
脚本: kafka_topic_partitions{instance=“instance",topic="instance",topic="inst

评论 34
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值