kafka消费报错coordinator unavailable.Rediscovery will be attempt redisCovery

最新推荐文章于 2024-12-30 23:26:00 发布
最新推荐文章于 2024-12-30 23:26:00 发布
阅读量3.1k 收藏 4
点赞数 4
文章标签： kafka java 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51656756/article/details/125852138
版权

    出现这个情况就是coordinate压力太大，_consumer_offset元主题中的历史消息分配不均衡，因为这个元主题的clean，policy不是正常的delete，所以会一直积累，并且单节点就很容易出现这个问题
    解决办法：删除_consumer_offset历史文件,_consumer_offset历史文件是在log文件中的，我在kafka的config中的server.properties文件中设置的将log打印在指定目录下,
在这里插入图片描述
所以我的_consumer_offset历史文件在/java/kafka/logs文件中
在这里插入图片描述

也就是这里，
在这里插入图片描述
将_consumer_offset历史文件进行删除
在这里插入图片描述
这样就可以了

【kafka】Group coordinator xx is unavailable or invalid, will attempt rediscovery
九师兄
12-23 1万+
kafka报错，但是这个环境，从监控上看一切正常。9092端口正常，zk正常，服务正常，查看topic正常，但是控制台消费异常。代码消费异常。kafka 相应的hostname 和ip 对应关系没有配置Kafka 消息无法接收(group coordinator is not available)
Kafak 消费异常：The coordinator is not available.
种一棵树最好的时间是十年前，其次是现在。
05-04 1282
记录下 Kafka 踩坑问题 之 The coordinator is not available. 的解决途径；
spring整合kafka时出现Group coordinator is unavailable or invalid, will attempt rediscovery错误
weixin_55174868的博客
05-27 7906
                                                                       .
kafka0.11版本消费报错Group coordinator is unavailable or invalid, will attempt rediscovery
gaofeng的博客
09-29 1万+
报错 消费单节点kafka 要么消费很缓慢 要么报错 Group coordinator ip:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery 重启节点也没用 分析 单节点情况下coordinator 压力太大了 __consumer_offsets这个元主题的历史消息量分配不均衡 有分区kb、M级别正常，有几个分区直接几十G，如果消费的主题在这些压力大的分区，就会消费阻塞 因为这个元主
Group coordinator cdhtest002.sendinfo.com:9092 (id: 2147483581 rack: null) is unavailable or invalid
厚积薄发
09-29 4487
今天我在Windows下写了一个scala代码，用spark去消费kafka的数据， 然后报Group coordinator cdhtest002.sendinfo.com:9092 (id: 2147483581 rack: null) is unavailable or invalid, will attempt rediscovery 这个错误，这个是集群（kafka）中ip和hostname对应关系没有配置，解决办法如下： Windows下修改C:\Windows\System32\driver
Group coordinator ali-ddd-cdhdev-04:9092 (id: 2147483643 rack: null) is unavailable or invalid, wil
一杯派蒙的博客
07-23 1万+
kafka 相应的hostname 和ip 对应关系没有配置
SpringKafka无法提交offset问题：Group coordinator not available
SpringBoy的博客
05-28 4781
SpringKafka无法提交offset问题：Group coordinator not available 在使用SpringKafka时，无法提交offset，提交时报错： 2022-05-28 17:24:32.078 INFO 14584 --- [umer_numb-0-C-1] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-consumer_numb-1, groupId=consumer_num
Springboot 消费kafka报错 Group coordinator 10.3.1.xx:9095 (id: 2147473398 rack: null) is unavailable
wppwpp1的专栏
08-21 4325
1,目前消费kafka一直报如下错误： 2020-08-19 20:23:16.279 INFO [bigdata-openapi-app,,,] 4312 --- [ main] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-1, groupId=BIGDATA_CACHE_USER_LASTVIDEO2_1597839792] Discovered group coordinator
【异常解决】The coordinator is not available
快乐星球
02-27 5115
CoordinatorNotAvailableException: The coordinator is not available异常解决
Group coordinator 192.169.0.16:9092 (id: 2147483647 rack: null) is unavailable or invalid due to cau
qq_41298861的博客
11-24 4538
使用管理员权限手动在C:\Windows\System32\drivers\etc\hosts文件中添加映射，手动让自己的电脑认识这个IP。我们可以注意一下控制台给出的域名地址，这个域名可能是因为解析问题或者限于远程服务器的安全策略做了转换。验证这个问题的办法，在windows开启telnet命令，在cmd中。kafka服务器的ip和kafka服务器对应的域名。
Kafka 消息无法接收(group coordinator is not available)
热门推荐
随风飘流的博客
01-25 2万+
#问题信息 ##问题现象描述 01-15，收到测试同学反馈，操作库存后，库存扩展数据没有变化。库存扩展数据是通过kafka消息异步更新的 查看消息处理 通过kafka做消息分发，producer和consumer均是同一个应用，消息发送正常，但consumer一直未获取到消息。 应用所有topic的消息均没有被消费。 重启应用后，消息消费正常。运行一段时间，又重现该问题场景 排查过程 找运维同事了...
kafka连接提示Group cordinator syh_test:9092
qq_44141082的博客
03-20 670
使用管理员权限手动在C:\Windows\System32\drivers\etc\hosts文件中添加映射。控制台这里给出的是域名地址syh_test，这个域名可能是因为解析问题或者限于远程服务器的安全策略做了转换。application.yml配置。在客户端机器上配置hosts解析。服务启动时连接kafka报错。
kafka小实站
最新发布
qq_52122048的博客
12-30 762
标记这个类为一个 Spring 的组件，使其被 Spring 容器管理并可以被自动扫描和加载。这是 Spring Kafka 提供的注解，用于标记一个方法为 Kafka 消息的监听器。代表 Kafka 中一条消费记录，包含了消息的元数据（如主题名、分区、偏移量）和消息体。需要先在前面的文章里面照着下载好kafka，并且启动 先启动zookeeper。等方法记录日志，而无需手动定义日志实例。来监听指定的主题，并处理接收到的消息。，它使用 Spring 的。comsumer代码。producer代码。
KAFKA __consumer_offsets 清理
leng778590995的博客
07-02 6454
KAFKA 的TOPIC __consumer_offsets 的清理 生产环境因kafka日志数据量过大，导致磁盘空间占用满了，通过查看发现kafka的日志储存目录kafkadata占用90%的存储。 再进一步查找，发现目录下好多__consumer_offsets 生成的储存文件，每个文件1GB。 查找了一下kafka配置，发现kafka对部分topic的清理策略做了特殊处理，所以导致我们自己配置的清理策略未生效。 查看现有的__consumer_offsets 清理策略 ./kafka-con
Kafka请求发送分析
TheOne的博客
08-08 1288
Kafka发送请求分析
KafkaTimeoutError 问题记录
July_Wander的博客
10-20 908
后面据此又去了解了下为何，如果远程主机使用Kafka的IP地址来访问Kafka集群，通常情况下是不需要主机名的。直到在issue看到下面这个反馈，才恍然醒悟过来，我也遇到了和他同样的问题，因为我代码里使用IP:Port去访问的Kafka，的issue里或是和很多搜索引擎找到的答案都说让去配置一个端口，但实际上我的以下配置是空的，因为用的是CM部署的Kafka。查询该问题是，遇到最多的解决方案就是让该Kafka服务端配置listeners、advertised.listeners。排查过程，及原因分析。
Kafka __consumer_offsets 占用磁盘空间过大处理
Li Nan 的博客
06-20 3310
kafka 位移分区清理策略
springboot项目连接虚拟机kafka服务器，消息发送、接收问题
sy_wb的博客
10-29 8959
错误信息：Group coordinator promote.localdomain:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery 2018-10-29 14:56:52.496  INFO 33656 --- [ntainer#0-0-C-1] o.a.k.c.c.inte...
关于kafka:consumer_offsets日志不能自动清理，设置自动清理规则
zhang546030919的博客
10-12 2600
关于kafka:consumer_offsets日志不能自动清理，设置自动清理规则 起因 Kafka服务器在运行几个月后，存储空间耗尽了。剖析Kafka的占用空间状况，发现Kafka主动生成的“__consumer_offset”topic，占用了大量空间，它用于记录每个用户topic的生产偏移量。这一topic实用的清理规定与其余topic不同，某些状况下，它可能始终得不到清理，耗尽服务器资源。 查看清理策略 因为服务器上的Kafka版本较老，这里应用的参数是–zookeeper，而非–bootstrap
kafka报错： org.apache.kafka.requests.IsolationLevel
05-24
这个报错通常是因为你的 Kafka 客户端使用了不支持的隔离级别。Kafka 支持的隔离级别包括读未提交（read_uncommitted）和读已提交（read_committed），默认为读未提交。如果你指定了一个不支持的隔离级别，就会出现这个报错。 你可以检查一下你的代码，看看是否在创建 Kafka 消费者或生产者时指定了一个不支持的隔离级别。如果有，将其修改为支持的隔离级别即可。如果没有指定隔离级别，可以尝试显式地指定一个支持的隔离级别，如下所示： ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-group"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("isolation.level", "read_uncommitted"); // 显式指定隔离级别 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); ``` 如果还有问题，可以提供更多的报错信息和代码细节，我会尽力帮助你解决问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值