flink1.12.4消费kafka 报错 The coordinator is not available

最新推荐文章于 2024-08-22 19:51:17 发布
原创 最新推荐文章于 2024-08-22 19:51:17 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #flink

Flink任务在遇到Kafka协调器不可用错误（CausedbyCoordinatorNotAvailableException）后，消费的偏移量无法随checkpoint提交。任务看似仍在运行，但监控显示未消费消息。解决方法包括重启任务或升级到Flink1.16.x版本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

报错


You should retry committing the latest consumed offsets.

Caused by: org.apache.kafka.common.errors.CoordinatorNotAvailableException: The coordinator is not available.

但是任务还在正常跑.


开源bug

[FLINK-28060] Kafka Commit on checkpointing fails repeatedly after a broker restart - ASF JIRA 

导致的现象

任务还在跑 认识消费kafka的偏移量没有随着checkpoint提交到kafka broker. 会导致如果监控任务监控kafka broker存储的偏移量,那么就会任务你的任务一致没有消费.

解决

重启任务 

升级到flink 1.16.x

 

Kafak 消费异常：The coordinator is not available.
种一棵树最好的时间是十年前，其次是现在。
05-04 1348
记录下 Kafka 踩坑问题 之 The coordinator is not available. 的解决途径；
【Kafka】GroupCoordinatorNotAvailableException - The coordinator is not available
九师兄
11-17 2515
1.背景 我写了一个程序，该程序是重建所有的kafka topic，步骤如下 删除kafka 调用shell 删除kafka的数据 删除zk上存储的信息 但是重建后，发现，消费者无法消费数据了，但是生成者仍然可以生成数据，并且在shell命令中，kafka-console-consumer.sh 是可以生产和消费的。 就算是写了一个最普通的消费者都无法正常的消费。日志有如下错误，或者没有错误。 Caused by: org.apache.kafka.common.errors.DisconnectE.
【异常解决】The coordinator is not available
快乐星球
02-27 5209
CoordinatorNotAvailableException: The coordinator is not available异常解决
kafka 消费组问题 The coordinator is not available
reformer77的博客
02-20 1108
那么就获取不到这消费组的offset，导致无法消费消息。生产者发送的消息分发到不同的分区中，消费者接收数据的时候是按照消费者组来接收的，不同的消费组消费速度不一样，kafka把这个offset，根据消费组名称均衡的保存到了。有个项目很久没有需求了，今天突然有一些小需求，需要在公司测试环境调接口造些假数据，发现接口响应200，却没有在数据库新增假数据。于是查看了一下kafka节点状态，发现其中一个节点挂了，重启这个节点后就能正常消费了。这就诡异了，命令行的能监听到消息，jar服务监听不到消息，
Group coordinator lookup failed: The coordinator is not available.问题
地球人是我哈的博客
05-21 3495
背景：最近使用的项目中用到了kafka，并且需要集成kerberos.这边kerberos认证已经通过，但是在消费的时候一直拉不到数据，随后使用shell命令在服务器上消费数据，结果一样。 后面更改日志级别，发现一直循环打印如下日志: 2020-05-21 10:05:06.651 [ForkJoinPool-1-worker-5] DEBUG org.apache.kafka.clients.Metadata - Updated cluster metadata version 133 to Cluste
【Flink】flink Kafka报错 : Failed to send data to Kafka: This server is not the leader for that topic-pa
九师兄
09-06 2351
查看topic的时候如下后来删掉重建然后使用我们自己写的洗脚本建立的如下后来自己手动建立如下,看起来正确了最终启动成功。
【kafka】flink 发送 数据到 kafka 报错 Memory records is not writable
九师兄
05-31 571
1.场景1 1.1 概述 本次环境，kafka的版本为0.9.0.1，主要情况是flink写入数据到kafka shell端是可以发送的，我的程序重启后也是好的，运行一端时间后消息就发不出去了 然后程序报错 反压满了，都所有算子都是1，不处理数据了，只有kafkaProducer没有反压，checkpoint也失败了但是任务没重启 运行世间久了就出现错误了[捂脸哭] 我现在重新提交了任务一切正常 2.源码分析 2.1 第一个错误 第一个错误是 Memory records is not wr.
【Flink】Flink 做检查点 报错 Checkpoint Coordinator is suspending.
九师兄
10-18 2843
先看看处理方式，可以看到遇到这个报错直接忽略了。然后重置一些标记变量，释放资源的时候报错了。flink任务做检查点的时候报错。报错位置位于启动检查点调度。
flink消费kafka报错
最新发布
weixin_55787608的博客
08-22 2374
ERROR coordinator.SourceCoordinatorContext: Exception while handling result from async call in SourceCoordinator-Source: source. Triggering job failover. org.apache.flink.util.FlinkRuntimeException: Failed to list subscribed topic partitions due to
kafka-console-consumer 参数 --zookeeper 不可用 与 The coordinator is not available的问题
u013547195的专栏
02-24 4512
事情起因是这样的。我们环境需要用到kafka，现在都是使用容器化的不是，大佬就找了个github星最多docker-kafka连接给我，建议我用这个来搭建。我们开发环境已经有了zk，所以就让我用kafka连上面的zk。kafka搭起来了，生产者可以生产。但是消费者始终是消费不到消息。使用tcpdump抓包也可以确认，消息已经发送到kafka。但是消费者始终无法消费。猜想是不是那个步骤执行错了。所以...
Kafka 消息无法接收(group coordinator is not available)
热门推荐
随风飘流的博客
01-25 2万+
#问题信息 ##问题现象描述 01-15，收到测试同学反馈，操作库存后，库存扩展数据没有变化。库存扩展数据是通过kafka消息异步更新的 查看消息处理 通过kafka做消息分发，producer和consumer均是同一个应用，消息发送正常，但consumer一直未获取到消息。 应用所有topic的消息均没有被消费。 重启应用后，消息消费正常。运行一段时间，又重现该问题场景 排查过程 找运维同事了...
flink1.15.0消费kafka 报错 The coordinator is not available.
yy的博客
09-15 939
但是任务还在正常跑.
生产事故：flink任务造成kafka连接泄漏导致kafka集群挂了！！！
MCpang的博客
06-16 1387
1、问题背景 为保障系统大促期间稳定运行，计划进行全链路生产压测。 2、问题现象 1》压测期间产生大量事后数据流向flink实时计算环节，flink任务消费的kafka出现堆积而产生告警。 2》通过flink监控平台查看日志发现flink任务频繁重启失败，checkpoint save失败。 3》通过kafka平台监控发现，flink任务连接kafka的连接数不断攀升，即kafka连接泄漏。 4》短时间内所有flink任务都出现频繁的重启失败，导致kafka集群夯住，最终kafka集群挂了。
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
07-07 2872
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
【记一次kafka客户端报org.apache.kafka.common.errors.NotLeaderForPartitionException异常处理】
sunhs1024的博客
04-28 5716
项目场景： 项目中，向kafka集群中生产消息，由下游系统进行消费处理。 问题描述： 在项目实际应用过程中，发现经常性的出现异常： 原因分析： 根据报错内容可知，发送消息时，broker已经不是对应分区的leader了，也就是说问题发生在leader重选举时，由于报错相对比较频繁，即重选举的动作发生的比较频繁，所以问题的重点就是分析是什么原因导致了leaderf发生了重选举。 关于kafka的leadert重选举以及都有哪些情况可能触发重选举，这里不在详细说明，具体可以参考：https://shirenc
kafka 异常：org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host
hugo_lei的博客
05-06 1万+
org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition。 producer 向一个之前不存在的 topic 写数据，因此时 topic 正在创建中 producer 就发送了数据，因此 topic 不存在。这是一个可重试异常，也既等一会再发送数据就可以了，因此 producer 需要加入重试 retry 逻辑。
kafka 0.10.0 ERROR internals.ConsumerCoordinator: Offset commit failed.
qq_34009542的博客
12-02 1264
kafka，spark版本：kafka 0.10.0 spark2.3.0 ERROR internals.ConsumerCoordinator: Offset commit failed. org.apache.kafka.clients.consumer.RetriableCommitFailedException: Commit offsets failed with retriabl...
checkpoint Kafka Offset commit failed问题记录
ChengYanan的博客
05-08 1556
checkpoint Kafka Offset commit failed
flink1.12.4 cdc connect-kafka
01-31
Flink 1.12.4是一个流式计算框架，可以用来处理实时数据流。CDC（Change Data Capture）是一种数据捕获技术，可以捕获数据库中的数据变化。而Connect-Kafka是一个用于连接Kafka消息队列的工具。 在Flink 1.12.4版本中，可以使用CDC连接Kafka来实现将数据库中的数据变化实时地写入Kafka消息队列的功能。这样做可以让用户在实时数据处理和分析中更加方便地使用数据库中的数据，将数据变化实时地传输到Kafka消息队列，然后可以通过Flink进行实时处理和分析，以满足不同的业务需求。 使用Flink 1.12.4的CDC连接Kafka，可以使数据在不同系统之间进行快速、可靠的同步，实现数据的实时更新和处理。这样的应用场景包括金融行业的交易数据监控、电商行业的用户行为分析等等。同时，这也有效地减少了数据的延迟，提高了数据的实时性和准确性。 总之，Flink 1.12.4的CDC连接Kafka提供了一个强大的工具，可以帮助用户更好地实现实时数据处理和分析，将数据库中的数据变化以及实时数据传输到Kafka消息队列，为用户提供更加灵活、高效的数据处理解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值