【kakfa】kafka 2.x 控制台消费报错 UNKNOWN_TOPIC_OR_PARTITION、删除不存在、创建提示存在

于 2025-05-07 00:30:00 发布
阅读量428 收藏
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 2025最新-大数据-kafka 文章标签： kafka 分布式
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/135280695

在这里插入图片描述

1.概述

上一篇文章：【Kafka】 WARN Error while fetching metadata with correlation id xx : {UNKNOWN_TOPIC_OR_PARTITION} 因为上一篇文章已经写了好几种现象，有点长了，本章是一次新的现象。

20231228日，我负责的一个现场环境，整个环境中病毒了，毒性很深，30多台机器全崩溃的，而且是kerberos认证的环境。

然后他的kafka集群有5台机器，挂了2台，然后他们把kerberos都先关闭了，但是挂的怎么都无法重启成功。然后他们就排除了这2个机器。想以3台机器先恢复运行。但是运行报错

[2023-12-28
了解本专栏 订阅专栏 解锁全文
【Kafka】 WARN Error while fetching metadata with correlation id xx : {UNKNOWN_TOPIC_OR_PARTITION}
九师兄
07-04 1万+
这里明显可以看出来{这里是你写入的topic名称=UNKNOWN_TOPIC_OR_PARTITION} ，而本次报错topic名称是空，应该是用kafka API 写入的时候，传入的topic名称为空，而且，诶呦设置。当kafka 写入的时候topic名称后面一个空格的话，你又不知道，那么也会这样，比如已有一个topic名称。20230926 今日再现了这个问题，是这样的我的一个环境kafka正常，怎么看都正常但是就是无法生产。查看内置消费组topic和我的要发送的topic都是正常的。
【Kafka】kafka console received unknown topic or partition error listOffset request
九师兄
11-18 4330
UNKNOWN_TOPIC_OR_PARTITION(3, "This server does not host this topic-partition.", new ApiExceptionBuilder() { @Override public ApiException build(String message) { return new UnknownTopicOrPartitionExceptio...
kafka-go 连接 阿里云版本kafka 报错 Unknown Topic Or Partition: the request is for 。。。。
weixin_45155046的博客
09-05 771
详细报错：Unknown Topic Or Partition: the request is for a topic or partition that does not exist on this broker。
15.kafka常见报错
z19861216的博客
02-04 714
15.kafka常见报错
kafka-3-故障排错
qq_43058317的博客
10-12 1578
文章目录前言1.22 Kafka常见故障排错1）UnknownTopicOrPartitionException2）LEADER_NOT_AVAILABLE3）NotLeaderForPartitionException4）TimeoutException5）RecordTooLargeException6）Closing socket connection7）ConcurrentModificationException8）NetWorkException [kafka-producer-networ.
kafka:UNKNOWN_TOPIC_OR_PARTITION
热门推荐
高矮
08-23 3万+
Error while fetching metadata with correlation id 11 : {xxxx=UNKNOWN_TOPIC_OR_PARTITION} 可能原因： topic不存在，切自动创建失败 设置： auto.create.topics.enable=true ...
kafka消费报错 UNKNOWN_TOPIC_OR_PARTITION
小驴
05-06 1万+
2022-05-06 13:50:38.624 [kafka-producer-network-thread | producer-1] LEVEL.WARN [traceId:] o.apache.kafka.clients.NetworkClient.handleSuccessfulResponse(1070) - [Producer clientId=producer-1] Error while fetching metadata with correlation id 6823 : {inv
WARN [Consumer clientId=consumer-1, groupId=console-consumer-22925] Error while fetching metadata with correlation id 68514 : {TCP_1111=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)
06-27
Kafka 会验证请求的主题是否存在于集群元数据中，如果找不到对应主题，则返回 `UNKNOWN_TOPIC_OR_PARTITION` 错误[^4]。 #### Kafka 集群未正确启动 如果 Kafka 集群中的某些节点（Broker）没有正常运行，可能导致...
WARN [Consumer clientId=consumer-1, groupId=console-consumer-22925] Error while fetching metadata with correlation id 68514 : {TCP_1111=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient) 翻译一下
06-27
WARN [Consumer clientId=consumer-1, groupId=console-consumer-22925] Error while fetching metadata with correlation id 68514 : {TCP_1111=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients....
解决kafka3.0.0在windows下不能启动的问题
2401_86733530的博客
10-22 2051
我是把旧的kafka-client-3.0.0.jar重命名成kafka-client-3.0.0.jar--- 但是文件还放在libs里面，那我干脆把新的和旧的jar包都删除，看行不行，报错找不到类，那就是旧的jar在作怪，把它放到libs文件夹外面，启动，打印了！运行成功，得到class文件，放到kafka的kafka-client-3.0.0.jar里面相应的位置，启动kafka，什么也没打印，找不到这个打印的路径。ok，现在把修改后的class放到jar包里面，重启kafka，成功！
kafka 异常：org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host
hugo_lei的博客
05-06 1万+
org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition。 producer 向一个之前不存在的 topic 写数据，因此时 topic 正在创建中 producer 就发送了数据，因此 topic 不存在。这是一个可重试异常，也既等一会再发送数据就可以了，因此 producer 需要加入重试 retry 逻辑。
Broker: Unknown topic or partition 问题解决
sunxunyong的博客
02-12 969
配置重试参数：在Kafka生产者的配置中，可以设置retries和retry.backoff.ms参数来启用重试机制。异常处理：在回调中对异常进行分类处理，对于可恢复的错误进行重试，对于不可恢复的错误进行日志记录或报警。错误处理：在处理消息时，对可能抛出的异常进行捕获和处理，根据异常类型决定是否重试。幂等性：确保生产者发送消息的逻辑是幂等的，即使消息被重复发送也不会影响系统状态。幂等性：确保消费者处理消息的逻辑是幂等的，即使消息被重复处理也不会影响系统状态。// 处理失败逻辑，消息将被重新消费。
Kafka常见错误整理（不断更新中）
weixin_30416497的博客
09-17 2386
1、UnknownTopicOrPartitionException org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition 报错内容：分区数据不在 原因分析：producer向不存在的topic发送消息，用户可以检查to...
一、kafka分区副本重分配-主流程
Coding fly的博客
11-08 1489
kafka分区副本重分配的脚本是kafka-reassign-partitions.sh 配置参数为： 序号 参数 说明 1 bootstrap-server kafka集群地址清单 2 command-config 3 zookeeper zk集群地址 4 generate 生成分区副本重分配策略 5 execute 按照策略json执行分区副本重分配 6 verify 验证迁移任务是否成功 7 reassignment-json-file 指定重分配策略文件
30个Kafka常见错误小集合
微信搜：import_bigdata，大数据领域硬核原创作者
08-05 1112
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜本文是一个Kafka使用过程中的常见错误的总结。希望对你有帮助。1、UnknownTopicOrPartitionExceptio...
常见Kafka错误整理
xinkuaile的专栏
11-11 2068
常见kafka错误整理
【kafka异常】kafka 常见异常处理方案(持续更新! )
石臻说AI(szzdzhp001) 【原名 石臻臻的杂货铺】
07-16 1万+
The leader epoch in the request is older than the epoch on the broker -- Partition $topicPartition marked as failed 说明 当前分区的Leader的epoch比Broker的epoch老 所以导致follow去fetchleader的时候报错； 只要重新发生一下Leader选举就行了; ......
kafka报错处理集合
zoeou的博客
12-24 8649
docker-kafka启动参照 https://www.jianshu.com/p/9552871bb40a 以下是遇到的一些错误: 命令行运行消费:无topic时 WARN [Consumer clientId=consumer-console-consumer-69322-1, groupId=console-consumer-69322] Error while fetching meta...
【kafka】Flink 消费 kafka Received unknown topic topic/partition may not exist Describe access to it
九师兄
07-10 3779
flink 消费kafka ，然后消费代码没有改变，然后我们的服务升级，kafka版本没变，flink消费的代码没变。但是在有的环境升级不报错 ，有的报错，出现过2次。报错具体内容如下查看topic的时候如下看起来topic是正常的。然后重启一下就好了。
o.a.k.c.NetworkClient: [Consumer clientId=consumer_10.48.187.10_6698f7f6-50ce-4939-a451-736e63b6c304, groupId=uat2.vms.schedule.event.vms.common.module.defaultGroup2.2.1008] Error while fetching metadata with correlation id 6268 : {uat2.vms.schedule.event.vms.common.module=UNKNOWN_TOPIC_OR_PARTITION}
最新发布
11-11
你遇到的错误日志来自 Kafka 客户端（`org.apache.kafka.clients.NetworkClient`），具体错误信息是： ``` {uat2.vms.schedule.event.vms.common.module=UNKNOWN_TOPIC_OR_PARTITION} ``` ### 错误解释： - `UNKNOWN_TOPIC_OR_PARTITION` 表示消费者尝试消费的 **topic 不存在** 或者 **分区信息不正确**。 - 该错误通常发生在以下几种情况： --- ### 可能原因及解决办法： #### ✅ 1. Topic 不存在 - **问题**：消费者尝试拉取的 topic `uat2.vms.schedule.event.vms.common.module` 在 Kafka 集群中并不存在。 - **解决方法**： - 确认该 topic 是否已在 Kafka 集群中创建。 - 使用如下命令检查 topic 是否存在： ```bash kafka-topics.sh --bootstrap-server <kafka_broker:port> --describe --topic uat2.vms.schedule.event.vms.common.module ``` - 如果不存在，使用如下命令创建： ```bash kafka-topics.sh --create --topic uat2.vms.schedule.event.vms.common.module --partitions 3 --replication-factor 1 --bootstrap-server <kafka_broker:port> ``` #### ✅ 2. Kafka 集群地址配置错误 - **问题**：消费者连接的 Kafka 地址不正确，导致连接到了错误的集群。 - **解决方法**： - 检查 `bootstrap.servers` 配置是否正确。 - 确保配置的 Kafka broker 地址和端口是当前运行的集群地址。 #### ✅ 3. Topic 名称拼写错误或大小写问题 - **问题**：topic 名称可能拼写错误，或在不同环境中大小写敏感导致问题。 - **解决方法**： - 仔细核对 topic 名称是否与生产环境一致。 - Kafka 的 topic 名称是区分大小写的，注意大小写是否一致。 #### ✅ 4. Kafka 集群元数据同步延迟 - **问题**：topic 虽然已经创建，但消费者尚未同步到最新的元数据信息。 - **解决方法**： - 等待几秒后重试。 - 或者重启消费者客户端，强制重新拉取元数据。 --- ### 建议日志排查步骤： 1. 检查消费者配置中的 `bootstrap.servers` 和 `group.id`。 2. 使用 Kafka 命令行工具确认 topic 是否存在。 3. 查看 Kafka Broker 日志是否有创建 topic 失败、权限问题等记录。 4. 确保 Kafka 集群正常运行，ZooKeeper（或 KRaft）状态正常。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值