kafka集群节点重启后未被topic识别

原创 已于 2023-04-18 16:47:13 修改 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #分布式

于 2023-04-18 16:03:55 首次发布
本文描述了在Kafka集群中，当节点重启后，某个Topic无法被正确识别的问题。问题源于topic ID在不同节点间不一致。解决办法包括：逐一检查并修改broker节点的元数据partition.metadata文件中的topic ID，或者直接更新Zookeeper集群的topic元数据，然后重启相关节点以恢复topic的正常识别和副本同步。

1.案例

kafka集群的节点重启后，topic为apex的主题识别不到重启后的broker节点id，但是还能识别到副本集还在原来的broker节点上

在kafka manager上查看

 继续往下查看

 2.查看kafka日志报错原因

以下是两个不同的broker节点报错的报错日志

 tail -f /etc/kafka/kafka/logs/kafkaServer.out 

这是broker id为3的节点 ，这是topic识别不到的节点报错为下图的这个错误

Received INCONSISTENT_TOPIC_ID from the leader for partition test-1. This error may be returned transiently when the partition is being created or deleted, but it is not expected to persist

这是broker id为1的节点，即topic还能识别到的节点报错为下图的这个错误

Received UNKNOWN_TO

最低0.47元/天 解锁文章
Kafka 节点重启失败引发数据丢失的分析排查与解决之道
LmzActionscript的博客
09-23 604
如果数据丢失是由于某个分区的所有副本都不可用导致的，可以尝试从其他副本中恢复数据。首先，确定具有最新数据的副本。如果数据丢失是由于某个分区的所有副本都不可用导致的，可以尝试从其他副本中恢复数据。确保所有分区的 ISR（In-Sync Replicas）列表中包含正确数量的副本，并且没有副本处于不同步状态。确保所有分区的 ISR（In-Sync Replicas）列表中包含正确数量的副本，并且没有副本处于不同步状态。如果 ISR 列表中的某些副本处于不同步状态，需要修复它们以确保数据复制正常进行。
Kafka系列之：Kafka集群新增节点后实现数据均衡
zhengzaifeidelushang的博客
10-22 787
Kafka系列之：Kafka集群新增节点后实现数据均衡
alert() 追加到节点的后面_Kafka 节点重启失败导致数据丢失的分析排查与解决之道
weixin_39829307的博客
11-21 419
背景在 2 月10 号下午大概 1 点半左右，收到用户方反馈，发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader，导致某些消息发送到该分区时，会报如下 no leader 的错误信息：In the middle of a leadership election, there is currently no leader for this partition and henc...
kafka单机重启topic丢失问题排查
zfszhangyuan的博客
11-29 1万+
这个问题，在线上集群环境一般不容易出现，因为相关的日志文件参数都已经配置好了，而且经受住时间的的验证了。 作为新手，我在本地配置了一个单机kafka，用得是kafka自带的zookeeper服务。 kafka安装很简单如下： 1).下载kafka: wget http://apache.fayea.com/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz
kafka单机重启，topic丢失问题特别弱智的错误
yyf960126的博客
05-17 3526
因为放在了独立的zookeeper中，我却启动的是kafka自带的zookeeper1.启动kafka自带zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 2.启动独立的zookeeper 切换到zookeeper-3.4.6目录下bin/zkServer.sh start conf/zoo_sample.cfg...
springboot 启动 kafka创建topic不生效
tricklin的博客
03-02 2903
kakfa springboot创建topic
Kafka 集群 Topic、消息大小、节点格式上限管控原理
欢迎来到我的技术分享博客！这里将带你深入了解AI技术、Java架构设计、系统开发与优化等前沿技术内容。我专注于从实战经验
06-30 1670
Topic 数量：Kafka 对 Topic 数量没有硬性限制，但受限于 ZooKeeper 和 Broker 资源。消息大小：默认单条消息最大大小为 1 MB，可以通过配置调整。集群节点数量：没有硬性上限，但需要合理规划以避免网络和协调开销。分区数量：根据并行处理能力和负载均衡需求设置。副本数量：根据高可用性和容错需求设置。通过合理设置这些参数，可以优化 Kafka 集群的性能和可靠性，确保其在高并发和高负载情况下稳定运行。副本数量为 3 的优势。
Kafka系列之：计算kafka集群topic占的存储大小
最新发布
zhengzaifeidelushang的博客
04-18 445
Kafka系列之：计算kafka集群topic占的存储大小
kafka 集群服役新节点
热门推荐
congge
03-02 1万+
kafka 集群服役新节点
Kafka异常处理(客户端和消费者都找不到topic)
Open the eyes of my heart,see new world.
08-16 5914
问题生产问题，OffsetMonitor 监控发现运行了一个月的kafka突然间消费有lag.kafka重启成功 用命令行创建topic成功../bin/kafka-topics.sh --create --zookeeper ** --replication-factor 2 --partitions 28 --topic newiot003用命令查看topic也存在， ./bin/kafka-
Kafka常见问题1
08-08
Kafka分配Replica的算法如下：将所有Broker（假设共n个Broker）和待分配的Partition排序将第i个Partition分配到第（imod
【kafka】Flink 消费 kafka Received unknown topic topic/partition may not exist Describe access to it
九师兄
07-10 3778
flink 消费kafka ，然后消费代码没有改变，然后我们的服务升级，kafka版本没变，flink消费的代码没变。但是在有的环境升级不报错 ，有的报错，出现过2次。报错具体内容如下查看topic的时候如下看起来topic是正常的。然后重启一下就好了。
【让数据排队的kafka | 01】Kafka集群单点故障？3步教你如何不重启服务解决
木子Linux的博客世界
05-23 837
kafka从0.11版本开始，__consumer_offsets这个topic是存放消费者偏移量的，但是该主题默认配置副本数量只有1，容易造成单点故障，我们可以动态修改（无需重启服务）副本因子，提高kafka的可靠性。
Kafka启动失败报错InconsistentClusterIdException
Mensonge的博客
10-30 1215
报错： 解决 ：切换到配置文件server.properties中存放kafka日志的目录，修改meta.properties文件中的clusterId为日志文件中新的 Cluster Id。重新启动。
kafka集群安装入坑记
行走的IT
10-18 1475
常用配置broker.id=0 #集群设置不一样如：一台为1，一台为2.。。 port=9092 host.name= localhost num.network.threads=2 num.io.threads=8 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.
ASM REACTING TO PARTITION ERRORS [ID 1062954.1]
小白编程
04-18 167
ASM REACTING TO PARTITION ERRORS [ID 1062954.1] -------------------------------------------------------------------------------- 修改时间 10-AUG-2011 类型 PROBLEM 状态 PUBLISHED In this Document Sym...
错误记录：For requests intended only for the leader
wp6687的博客
11-12 3538
报错： For requests intended only for the leader, this error indicates that the broker is not the current leader. For requests intended for any replica, this error indicates that the broker is not a replica of the topic partition. 解决： 原因是在集群环境下建立topic的时候
kafka leader -1
qq_15138049的博客
06-01 517
【代码】kafka leader -1。
kafka集群报错找不到broker: Failed to find brokers to send ListGroups
企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com
06-09 3778
现场测试验证，报错：报错：Failed to find brokers to send ListGroups……某次用户反馈，kafka消费这边消息失败，报错消费者被踢出消费组或broker状态异常无法连接，后实际验证端口确实不通。如上所示，缺失找不到broker node，查看发现多了一个意外节点，经确认为非正常配置。发现topic的授权用户和consumer.properties里配置的消费用户名不一致。broker 4 （172.18.1.198）------>下线该节点。如上图所示，没有组权限；
Lists.partition和 set partition
04-29
`list.partition()` 和 `set.partition()` 是两种不同的方法，用于不同的数据类型。 `list.partition()` 是 Python 内置的列表方法，它接受一个谓词函数作为参数，并将列表拆分为两个部分：满足谓词函数的元素和不满足谓词函数的元素。它返回一个元组，其中第一个元素是满足谓词函数的元素列表，第二个元素是不满足谓词函数的元素列表，第三个元素是剩余的元素列表（如果有的话）。 例如，假设我们有一个整数列表 `[1, 2, 3, 4, 5, 6]`，我们想要将它们分为奇数和偶数两部分，可以使用 `list.partition()` 方法： ```python nums = [1, 2, 3, 4, 5, 6] odd, even, rest = nums.partition(lambda x: x % 2 != 0) print(odd) # [1, 3, 5] print(even) # [2, 4, 6] print(rest) # [] ``` `set.partition()` 并不是 Python 内置的方法，因为 `set` 类型本身就不保留项目的顺序。因此，`set.partition()` 不是一个有效的方法。 不过，我们可以通过手动编写代码来模拟 `set.partition()` 的行为。例如，假设我们有一个字符串集合 `{'apple', 'banana', 'cherry', 'date'}`，我们想要将它们分为两部分：以字母 'a' 开头的字符串和不以字母 'a' 开头的字符串。我们可以使用以下代码： ```python strings = {'apple', 'banana', 'cherry', 'date'} a_start = set(filter(lambda s: s.startswith('a'), strings)) not_a_start = strings - a_start print(a_start) # {'apple'} print(not_a_start) # {'banana', 'cherry', 'date'} ``` 这段代码使用了 Python 内置的 `filter()` 函数和 `set` 类型的差集运算。它首先使用 `filter()` 函数找到以字母 'a' 开头的字符串，然后使用差集运算将它们从原始集合中移除，得到不以字母 'a' 开头的字符串集合。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值