Apache Kafka 3.1监控数据采集：JMX Exporter配置指南-优快云博客

Apache Kafka 3.1监控数据采集：JMX Exporter配置指南

【免费下载链接】kafka Mirror of Apache Kafka 项目地址: https://gitcode.com/gh_mirrors/kafka31/kafka

你是否还在为Kafka集群监控数据采集烦恼？本文将带你通过JMX Exporter实现Kafka 3.1服务的性能指标监控，解决指标缺失、配置复杂等问题。读完本文你将掌握：

快速启用Kafka JMX端口的3种方法
JMX Exporter配置与集成步骤
关键监控指标说明与采集验证

一、为什么需要JMX监控？

Kafka作为分布式流处理平台，其内部运行状态直接影响消息传递可靠性和系统性能。通过JMX（Java Management Extensions）技术，我们可以采集到包括：

broker端：消息吞吐量、分区副本同步状态、网络IO指标
生产者/消费者：消息发送成功率、消费延迟、积压数据量
JVM层面：堆内存使用、GC频率、线程状态等关键指标

官方文档：Kafka监控指南

二、开启Kafka JMX端口

2.1 临时启动方式（适合测试）

通过命令行参数直接指定JMX端口：

JMX_PORT=9999 bin/kafka-server-start.sh config/server.properties

这种方式会临时启用JMX端口9999，无需修改配置文件，重启后失效。

2.2 环境变量配置（推荐生产）

修改Kafka启动脚本环境变量，编辑bin/kafka-run-class.sh文件（位于项目根目录下）：

# 在文件开头添加
export JMX_PORT=9999
export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true \
  -Dcom.sun.management.jmxremote.authenticate=false \
  -Dcom.sun.management.jmxremote.ssl=false \
  -Dcom.sun.management.jmxremote.port=$JMX_PORT \
  -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

脚本路径：bin/kafka-run-class.sh

2.3 服务配置文件（Kraft模式适用）

对于使用Kraft模式的Kafka集群，修改config/kraft/server.properties添加：

# JMX配置
kafka.jmx.port=9999
kafka.jmx.host=0.0.0.0

配置文件路径：config/kraft/server.properties

三、JMX Exporter集成步骤

3.1 下载JMX Exporter

从Maven仓库下载最新版本的jmx_prometheus_javaagent.jar，保存到Kafka安装目录的exporter子目录：

mkdir -p exporter
wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.16.1/jmx_prometheus_javaagent-0.16.1.jar -O exporter/jmx_exporter.jar

3.2 创建指标采集配置

在exporter目录下创建kafka.yml配置文件：

lowercaseOutputName: true
rules:
  - pattern: "kafka.server<type=(.+), name=(.+), topic=(.+), partition=(.+)><>Value"
    name: "kafka_server_$1_$2"
    labels:
      topic: "$3"
      partition: "$4"
  - pattern: "kafka.server<type=(.+), name=(.+)><>Value"
    name: "kafka_server_$1_$2"
  - pattern: "java.lang<type=Memory, area=(Heap|NonHeap)><(Used|Committed|Max)>"
    name: "jvm_memory_$2_$1_bytes"

3.3 修改启动参数

编辑bin/kafka-server-start.sh，修改KAFKA_OPTS变量：

export KAFKA_OPTS="-javaagent:/path/to/exporter/jmx_exporter.jar=7071:/path/to/exporter/kafka.yml"

其中7071是Exporter的HTTP端口，Prometheus将通过此端口拉取指标。

四、验证与关键指标

4.1 启动服务并验证

bin/kafka-server-start.sh config/server.properties

访问http://localhost:7071/metrics，应能看到类似以下输出：

# HELP kafka_server_BrokerTopicMetrics_MessagesInPerSec The number of messages received per second
# TYPE kafka_server_BrokerTopicMetrics_MessagesInPerSec counter
kafka_server_BrokerTopicMetrics_MessagesInPerSec{topic="test",} 12345.0

4.2 核心监控指标表

指标名称	含义	推荐阈值
kafka_server_BrokerTopicMetrics_MessagesInPerSec	每秒接收消息数	根据业务评估
kafka_server_BrokerTopicMetrics_BytesInPerSec	每秒接收字节数	根据带宽评估
kafka_server_ReplicaManager_UnderReplicatedPartitions	同步滞后分区数	0
kafka_server_ReplicaManager_UnderMinIsrPartitionCount	副本不足分区数	0
jvm_memory_Used_Heap_bytes	JVM堆内存使用量	< 80%堆最大值

五、常见问题解决

5.1 JMX端口冲突

若启动时报错"Address already in use"，通过以下命令查找占用进程：

netstat -tlnp | grep 9999

5.2 指标缺失

检查JMX Exporter配置文件中的规则是否匹配Kafka版本，可添加debug: true到配置文件查看匹配情况。

5.3 防火墙设置

确保JMX端口（9999）和Exporter端口（7071）在防火墙中开放：

firewall-cmd --add-port=9999/tcp --permanent
firewall-cmd --add-port=7071/tcp --permanent
firewall-cmd --reload

六、总结与最佳实践

端口规划：建议JMX端口使用999x系列，Exporter使用707x系列
安全加固：生产环境需启用JMX认证（添加-Dcom.sun.management.jmxremote.authenticate=true）
监控告警：重点关注UnderReplicatedPartitions和请求处理延迟指标
版本兼容：JMX Exporter 0.16.x兼容Kafka 3.0+版本

通过本文配置，你已成功搭建Kafka监控数据采集通道。下一步可集成Prometheus和Grafana实现可视化监控面板。收藏本文，关注后续Kafka监控系列文章！

【免费下载链接】kafka Mirror of Apache Kafka 项目地址: https://gitcode.com/gh_mirrors/kafka31/kafka

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考