【kakfa】kafka 2.x 控制台消费报错 UNKNOWN_TOPIC_OR_PARTITION、删除不存在、创建提示存在

于 2025-05-07 00:30:00 发布
阅读量238 收藏
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 2025最新-大数据-kafka 文章标签： kafka 分布式
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/135280695

在这里插入图片描述

1.概述

上一篇文章：【Kafka】 WARN Error while fetching metadata with correlation id xx : {UNKNOWN_TOPIC_OR_PARTITION} 因为上一篇文章已经写了好几种现象，有点长了，本章是一次新的现象。

20231228日，我负责的一个现场环境，整个环境中病毒了，毒性很深，30多台机器全崩溃的，而且是kerberos认证的环境。

然后他的kafka集群有5台机器，挂了2台，然后他们把kerberos都先关闭了，但是挂的怎么都无法重启成功。然后他们就排除了这2个机器。想以3台机器先恢复运行。但是运行报错

[2023-12-28
了解本专栏 订阅专栏 解锁全文
【Kafka】 WARN Error while fetching metadata with correlation id xx : {UNKNOWN_TOPIC_OR_PARTITION}
九师兄
07-04 1万+
这里明显可以看出来{这里是你写入的topic名称=UNKNOWN_TOPIC_OR_PARTITION} ，而本次报错topic名称是空，应该是用kafka API 写入的时候，传入的topic名称为空，而且，诶呦设置。当kafka 写入的时候topic名称后面一个空格的话，你又不知道，那么也会这样，比如已有一个topic名称。20230926 今日再现了这个问题，是这样的我的一个环境kafka正常，怎么看都正常但是就是无法生产。查看内置消费组topic和我的要发送的topic都是正常的。
kafka:UNKNOWN_TOPIC_OR_PARTITION
热门推荐
高矮
08-23 3万+
Error while fetching metadata with correlation id 11 : {xxxx=UNKNOWN_TOPIC_OR_PARTITION} 可能原因： topic不存在，切自动创建失败 设置： auto.create.topics.enable=true ...
kafka消费报错 UNKNOWN_TOPIC_OR_PARTITION
小驴
05-06 1万+
2022-05-06 13:50:38.624 [kafka-producer-network-thread | producer-1] LEVEL.WARN [traceId:] o.apache.kafka.clients.NetworkClient.handleSuccessfulResponse(1070) - [Producer clientId=producer-1] Error while fetching metadata with correlation id 6823 : {inv
kafka 异常：org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host
hugo_lei的博客
05-06 1万+
org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition。 producer 向一个之前不存在的 topic 写数据，因此时 topic 正在创建中 producer 就发送了数据，因此 topic 不存在。这是一个可重试异常，也既等一会再发送数据就可以了，因此 producer 需要加入重试 retry 逻辑。
kafka-go 连接 阿里云版本kafka 报错 Unknown Topic Or Partition: the request is for 。。。。
weixin_45155046的博客
09-05 698
详细报错：Unknown Topic Or Partition: the request is for a topic or partition that does not exist on this broker。
Broker: Unknown topic or partition 问题解决
最新发布
sunxunyong的博客
02-12 735
配置重试参数：在Kafka生产者的配置中，可以设置retries和retry.backoff.ms参数来启用重试机制。异常处理：在回调中对异常进行分类处理，对于可恢复的错误进行重试，对于不可恢复的错误进行日志记录或报警。错误处理：在处理消息时，对可能抛出的异常进行捕获和处理，根据异常类型决定是否重试。幂等性：确保生产者发送消息的逻辑是幂等的，即使消息被重复发送也不会影响系统状态。幂等性：确保消费者处理消息的逻辑是幂等的，即使消息被重复处理也不会影响系统状态。// 处理失败逻辑，消息将被重新消费。
kakfa 常见错误（长期更新 2023.09.05）
一起学习一起进步~
06-19 2137
我们只需要在消费者配置中设置一个即可，这个错误的原因是未设置group id，但又使用了subscribe(topic) 或基于 Kafka 的偏移量管理策略使用组管理功能引起。若不清楚group id请显示的指定分区，避免将错误的group id写入。springboot启动后连接kafka集群报错：协调器不正确，标记协调器未知。springboot指定消费者群组：消费者配置类添加下面代码（消费者配置类可查看。指定消费者群组进行消费，成功消费后将自动创建所指定的消费者群组。
【kafka系列教程29】从老版本升级kafka
dcm19920115的博客
06-25 2014
从老版本升级kafka 从0.8.x, 0.9.x 或 0.10.0.X 升级到 0.10.1.0 0.10.1.0有线协议更改，通过遵循以下建议的滚动升级，在升级期间不会停机。但是，需要注意升0.10.1.0中潜在的突发状况。 注意：由于引入了新的协议，要在升级客户端之前先升级kafka集群（即，0.10.1.x仅支持 0.10.1.x或更高版本的broker，但是0.10.1.x的bro...
【Kafka】ERROR Error when sending message to topic topic_lcc with key: null, value: 4 bytes with error
九师兄
08-06 2665
发现所有的分区都是正常的,而且上图我的机器都是好的。这个topic是一个分区，没有副本，然后会导致这个topic只能建立在一台机器上，万一这个建立的机器挂了。然后查了一下，最后发现原来是kafka_node1节点挂了，然后我换个机器就可以了。这说明一个问题，我们往哪里发送数据的时候，这台机器会负责key的生成？在上面的基础上想远程连接，然后设置如下。然后其他的topic都是正常的。然后其他的topic都是正常的。我有3台机器，然后分别是。我有3台机器，然后分别是。然后新建一个topic。
Kafka常见错误整理（不断更新中）
weixin_30416497的博客
09-17 2362
1、UnknownTopicOrPartitionException org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition 报错内容：分区数据不在 原因分析：producer向不存在的topic发送消息，用户可以检查to...
30个Kafka常见错误小集合
微信搜：import_bigdata，大数据领域硬核原创作者
08-05 1065
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜本文是一个Kafka使用过程中的常见错误的总结。希望对你有帮助。1、UnknownTopicOrPartitionExceptio...
常见Kafka错误整理
xinkuaile的专栏
11-11 1970
常见kafka错误整理
【kafka异常】kafka 常见异常处理方案(持续更新! )
石臻臻的杂货铺(szzdzhp001)
07-16 1万+
The leader epoch in the request is older than the epoch on the broker -- Partition $topicPartition marked as failed 说明 当前分区的Leader的epoch比Broker的epoch老 所以导致follow去fetchleader的时候报错； 只要重新发生一下Leader选举就行了; ......
【Kafka】kafka console received unknown topic or partition error listOffset request
九师兄
11-18 4259
UNKNOWN_TOPIC_OR_PARTITION(3, "This server does not host this topic-partition.", new ApiExceptionBuilder() { @Override public ApiException build(String message) { return new UnknownTopicOrPartitionExceptio...
记录一次kafka topic 消费不到数据问题排查
u012693823的博客
07-23 5838
如果数量小于既定kafka broker数说明kafka挂了,需要重启kafka kafka.1.server status #检查 kafka.1.server start #启动 如果无上述命令,执行 history|grep kafka , 查看kafka相关启动命令 如果执行命令无法启动kafka,极有可能是内存不足或者磁盘不足 内存不足 执行top命令,看哪个应用占的比较多,能干掉的先干掉 如果磁盘不足 执行df -h ,看是哪个文件过大导致,清理出多余
kafka幂等
诸葛子房的博客
10-11 1153
在之前的旧版本中，Kafka只能支持两种语义：At most once和At least once。At most once保证消息不会朝服，但是可能会丢失。在实践中，很有有业务会选择这种方式。At least once保证消息不会丢失，但是可能会重复，业务在处理消息需要进行去重。、  Kafka在0.11.0.0版本支持增加了对幂等的支持。幂等是针对生产者角度的特性。幂等可以保证上生产者发送的...
记kafka partition数据量过大导致不能正确重启
红黑的米兰的专栏
04-26 2万+
某台kafka服务器负载过高，机器挂掉一段是时间后，kill掉占用内存的进程，然后重启kafka服务，但是一直不能完成启动和数据同步，日志如下fset 0 to broker BrokerEndPoint(11,192.168.207.79,9092)] ) (kafka.server.ReplicaFetcherManager) [2016-04-26 19:16:33,274] INFO [R
kafka topic增加partition
杂记
02-15 1万+
通过kafka-topics.sh 的alter选项 ，将topic1的partitions从1增加到6；  ./kafka-topics.sh --alter --topic topic1 --zookeeper zkip:2181/kafka --partitions 6
Caused by: org.apache.kafka.common.errors.TopicExistsException: Topic 'topic_2' already exists.怎么解决
04-29
这个错误表示 Kafka 中已经存在一个名为 'topic_2' 的主题，因此无法创建一个同名的主题。可能是因为之前已经创建过这个主题而导致的。 要解决这个问题，你可以尝试以下步骤： 1. 检查Kafka中是否已经存在名为 'topic_2' 的主题。可以使用命令行工具或Kafka管理界面进行检查。 2. 如果 'topic_2' 已经存在，则可以使用现有的主题进行操作，或者删除该主题并重新创建。 3. 如果你想删除 'topic_2' 主题，可以使用以下命令： ``` bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic topic_2 ``` 注意：这将永久删除主题和所有相关数据。 4. 删除主题后，可以重新创建 'topic_2' 主题，并确保不会再次出现同名的问题。 希望这能帮助你解决问题！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值