【异常解决】The coordinator is not available

最新推荐文章于 2024-02-20 11:00:28 发布

若小鱼

最新推荐文章于 2024-02-20 11:00:28 发布

阅读量5.2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：异常解决文章标签： kafka java 分布式

本文链接：https://blog.youkuaiyun.com/weixin_44162809/article/details/129241529

Flink任务由于Kafka源读者在提交checkpoint时遇到协调器不可用的问题而挂掉。错误源于__consumer_offsets主题的Leader缺失，其默认分区数50超过只有一份备份的情况。解决方法包括修改kafka配置，将offsets.topic.replication.factor设置为与broker数量相等，清理Zookeeper中的相关配置信息，然后重启kafka服务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题

最近上线跑了一个flink任务，运行不久，就会挂掉，初步查看日志报错如下

WARN  org.apache.flink.connector.kafka.source.reader.KafkaSourceReader [] - Failed to commit consumer offsets for checkpoint 1
org.apache.kafka.clients.consumer.RetriableCommitFailedException: Offset commit failed with a retriable exception. You should retry committing the latest consumed offsets.
Caused by: org.apache.kafka.common.errors.CoordinatorNotAvailableException: The coordinator is not available.

报错原因为The coordinator is not available.
报错在网上搜了一下，根据网友的经验，是消费组协调leader不存在导致
查看kafka __consumer_offsets topic
在这里插入图片描述

kafka-topics.sh -bootstrap-server node1:9092,node2:9092,node3:9092,node4:9092,node5:9092 --topic __consumer_offsets

最低0.47元/天解锁文章

200万优质内容无限畅学