kafka队列堆积问题的常见排查

1. 检查生产者和消费者的速率

生产者吞吐量测试：

kafka-producer-perf-test.sh --topic <your-topic>  # 需要填写测试的主题名，如 "my-topic"
--num-records <count>  # 需要填写消息的数量（例如：100000）
--record-size <size>  # 需要填写消息的大小（字节数，例如：1024）
--throughput <rate>  # 需要填写生产者的吞吐量（每秒发送的消息数量，如：10000）
--producer-props bootstrap.servers=<brokers>  # 需要填写 Kafka 集群的 brokers（如："kafka-broker1:9092,kafka-broker2:9092"）

消费者吞吐量测试：

kafka-consumer-perf-test.sh --topic <your-topic>  # 需要填写测试的主题名，如 "my-topic"
--broker-list <brokers>  # 需要填写 Kafka 集群的 brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
--messages <count>  # 需要填写要消费的消息数量（例如：100000）
--group <your-consumer-group>  # 需要填写消费者组名，如 "my-consumer-group"

2. 查看 Kafka 消费者组的状态

查看某个消费者组的偏移量：

kafka-consumer-groups.sh --bootstrap-server <brokers>  # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
--describe --group <your-consumer-group>  # 需要填写消费者组名，如 "my-consumer-group"

查看所有消费者组的状态：

kafka-consumer-groups.sh --bootstrap-server <brokers>  # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
--list  # 列出所有消费者组

3. 查看 Kafka 主题的分区情况

查看某个主题的分区信息：

kafka-topics.sh --bootstrap-server <brokers>  # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
--describe --topic <your-topic>  # 需要填写主题名，如 "my-topic"

查看所有主题：

kafka-topics.sh --bootstrap-server <brokers>  # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
--list  # 列出所有主题

4. 查看 Kafka 集群的资源使用情况

查看 Kafka broker 的状态：

kafka-broker-api-versions.sh --bootstrap-server <brokers>  # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）

查看 Kafka broker 的详细信息：

kafka-broker-api-versions.sh --bootstrap-server <brokers> --describe  # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）

5. 查看 Kafka 消息堆积情况

使用 kafka-run-class.sh 查看堆积的消息：

kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper <zookeeper-server>  # 需要填写 Zookeeper 服务器地址（如："zookeeper1:2181"）
--topic <your-topic>  # 需要填写主题名，如 "my-topic"
--group <your-consumer-group>  # 需要填写消费者组名，如 "my-consumer-group"

查看 Kafka 消息日志目录的磁盘占用情况：

du -sh /var/lib/kafka/logs  # 需要根据实际 Kafka 配置文件中的日志路径来调整，默认路径是 "/var/lib/kafka/logs"

查看 Kafka 消息的堆积情况（Prometheus）：

curl http://<kafka-broker>:<port>/metrics | grep "log"  # 需要填写 Kafka broker 的地址和端口（如："kafka-broker1:9092"）

6. 查看 Kafka 节点的负载和资源使用

检查 Kafka 节点的负载情况（CPU、内存、磁盘）：

top -u kafka  # 这将显示 Kafka 进程的 CPU 和内存使用情况

#或者使用
htop  # 更加友好的交互式命令，查看 Kafka 进程的负载

查看 Kafka 磁盘使用情况：

df -h /var/lib/kafka  # 需要填写 Kafka 数据目录所在路径，默认是 "/var/lib/kafka"

7. 监控 Kafka 的性能和健康状况

Kafka Metrics (JMX)： 启动 JMX 客户端：

jconsole <kafka-broker-ip>:<jmx-port>  # 需要填写 Kafka broker 的 IP 地址和 JMX 端口（通常默认为 1099）

8. 查看生产者和消费者日志

生产者日志：

tail -f /var/log/kafka/producer.log  # 需要根据实际日志文件路径来调整，默认路径可能是 "/var/log/kafka"

消费者日志：

tail -f /var/log/kafka/consumer.log  # 需要根据实际日志文件路径来调整，默认路径可能是 "/var/log/kafka"

9. 查看 Kafka 配置

查看 Kafka 配置文件（server.properties）：

cat /etc/kafka/server.properties  # 需要填写 Kafka 配置文件路径，默认路径通常是 "/etc/kafka/server.properties"

常见关键配置项：

log.retention.hours：设置消息的保留时间（单位：小时）
log.retention.bytes：设置日志文件的最大大小
num.partitions：默认分区数
log.segment.bytes：日志文件的最大大小

10. Kafka 消费者线程调优

查看消费者处理的线程数和调整并发度：

ps aux | grep kafka-consumer  # 查看 Kafka 消费者进程的详细信息，包括线程数、CPU 和内存使用等