kafka Leader NOT AVAIABLE备忘录

本文介绍了在IaaS环境下Kafka配置的重要性,特别是advertised_listener的作用及配置方法,并探讨了如何通过检查Broker的Leader状态来解决相关问题。此外还提供了一种手动干预Broker与Zookeeper同步的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

注意:备忘录主题只是作者随手记录便于作者自己日后翻阅,没有排版和行文上的思考,阅读起来不太容易!。若有网友遇到类似问题可以评论或者发邮件chenbinkria@163.com进行交流
LEADER NOT AVAIABLE
Listeners to publish to ZooKeeper for clients to use, if different than the listenersconfig property. In IaaS environments, this may need to be different from the interface to which the broker binds. If this is not set, the value for listenerswill be used. Unlike listeners it is not valid to advertise the 0.0.0.0 meta-address.
第一步:如果实在Iaas环境下要注意配置adverted_listerner,这个信息会保存在zk上,供客户端使用,客户端是消费者和生产者或者其他;
请求的元数据保存在zk上,包括发送消息的地址,接收消息的地址,这里目前没有特别的研究,但有一点可以确定的是大部分数据都是保存在zk上,client连接到kafka broker上后,broker会去请求zk数据然后把结果返回给客户端。这里就可以看出broker和实际发送消息和接收消息的地址可能会不一样。
第二步:去broker 上describe某个问题topic看他的leader是否跟broker-id是否一致,在zk上数据来看,broker ids和topic处于相同级别,也就是说当broker改变时,不一定,这里在开始处理的时候是去zk下删除所有topic信息,然后在broker下重新创建。其实我认为,应该存在某个命令,让这个过程手动发生。
猜想:该描述来自互联网,未亲自试验,如果理解没有问题,应该可行
./bin/kafka-preferred-replica-election.sh --zookeeper hadoop16:2181,hadoop17:2181,hadoop18:2181/kafka08
对某个Topic进行操作 topicPartitionList.json { “partitions”: [ {“topic”:“test.example”,“partition”: “0”} ] }
./bin/kafka-preferred-replica-election.sh --zookeeper hadoop16:2181,hadoop17:2181,hadoop18:2181/kafka08 --path-to-json-file topicPartitionList.json

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值