Kafka常见问题之Kafka 报错：org.apache.kafka.common.errors.NotLeaderOrFollowerException

Kafka常见问题之Kafka 报错：org.apache.kafka.common.errors.NotLeaderOrFollowerException

NotLeaderOrFollowerException 是 Kafka 中常见的分区 Leader 问题，通常由 Broker 宕机、网络问题或分区元数据不同步引起。通过检查集群状态、合理配置副本同步机制、调整客户端参数以及监控集群，可以有效减少此类问题的发生，提高 Kafka 集群的稳定性和可靠性。

0. NotLeaderOrFollowerException描述

该错误表明客户端（生产者或消费者）向 Kafka Broker 发送请求时，目标分区的 Leader 不可用，或该 Broker 既不是分区的 Leader 也不是其副本（Follower）。因此，该 Broker 无法处理与该分区相关的请求。

1. NotLeaderOrFollowerException产生背景

该错误通常出现在以下场景：

• 生产者向分区 Leader 发送数据时：生产者通过元数据获取分区的 Leader 信息，如果 Leader 信息过时或不可用，生产者可能会向非 Leader 节点发送数据，导致该错误。
• 消费者从分区拉取数据时：消费者尝试从分区 Leader 拉取消息，如果 Leader 不可用或元数据不同步，则会出现该错误。
• Kafka 分区的 Leader 发生变更：当 Kafka 发生分区重平衡（Rebalance）或 Leader 重新选举时，客户端可能遇到临时的 Leader 不可用。

2. NotLeaderOrFollowerException产生原因

2.1 分区的 Leader 不可用

• Kafka 分区的 Leader 可能由于 Broker 宕机或网络问题变得不可用。
• 如果 Kafka 集群中的 ISR（同步副本集合）为空，可能无法选出新的 Leader。

2.2 元数据过时

• 客户端缓存的分区元数据已过期，但未及时刷新，导致请求被发送到错误的 Broker。

2.3 分区未分配 Leader

• 某些分区可能由于分区副本分配不均或配置问题，未正确分配 Leader。

2.4 Broker 配置错误

• K