kafka删除主题验证

本文探讨了在Kafka 2.2.0和2.3.0版本中删除主题的影响,包括consumer和producer行为、数据清除、再建主题的影响。在不同版本和数据传输状态下,删除主题的操作步骤和结果各有差异,但建议停止所有模块后再执行删除和重建操作以避免问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

kafka删除主题验证:

开发环境上3节点kafka集群

consumer影响
producer影响
数据是否清除
再建主题是否会有影响

版本 2.2.0

即使没有建立主题,producer和consumer指定相同主题,也可以通信,关闭通信后数据不会消失。
一 没有进行过数据传输
关闭consumer和producer,删除主题顺利,不影响下次创建。
开启consumer和producer,删除主题不顺利,主题存在,每个分区复制因子变为1,消费者报warning:yang2=LEADER_NOT_AVAILABLE,关闭consumer和producer再删除即可。

二 进行过数据传输
bin/kafka-topics.sh --create --zookeeper ip:port --topic yang1 --partitions 3 --replication-factor 3

1.consumer、producer关闭,delete执行,describe显示主题不存在;
运行consumer显示3个分区,复制因子为1的主题,运行producer,生产者和消费者可以交互。consumer运行不会会把此次之前的消息读出来(生产者不关闭,消费者重复关闭开启也不会读取之前的信息),即不通过命令行,运行consumer生成的主题是临时性,数据不会持久存储。
运行producer显示3个分区,复制因子为1的主题,运行consumer,不读取刚才输入数据,可以交互,印证上文的数据不会持久存储。

2.consumer、producer开启,delete执行,describe显示主题存在,3分区,1副本,可以交互;

然后consumer、producer关闭,再执行delete,describe显示主题不存在,运行consumer、producer可以交互,consumer关闭再开启读取不到历史数据,describle显示主题存在,3分区,1副本。
重新建立同名topic,分区数和复制因子不同,consumer不会读取到以前所有数据

版本2.3.0

即使没有建立主题,producer和consumer指定相同主题,也可以通信,关闭通信后数据消失,建立一个分区1,副本1的新主题。
1.未进行数据传输
关闭consumer和producer,删除主题顺利,不影响下次创建。
开启consumer和producer,删除主题不顺利,主题存在,每个分区复制因子变为1,再删除可以
运行consumer和producer通信,describe显示一个分区、复制因子为1的主题。删除主题,运行consumer,读取不到数据
2.进行过数据传输
关闭consumer和producer,删除主题顺利,不影响下次创建,consumer读取不到以前数据。

开启consumer和producer,删除主题不顺利,主题存在,分区数为1,复制因子为1,再次删除成功,开启消费者,读取不到以前数据,创建一个分区数1,复制因子为1的主题。
重新建立同名分区,分区数和复制因子不同,consumer读取不到以前数据。

结论:

针对遇到的忘记建立相应主题的情况,正确做法应该是停掉包含生产者和消费者的所有模块,delete删除主题,describe检查主题是否存在,等待主题删除后,重新建立即可。不需要删除相应zookeeper和kafka文件,如果删除操作反而会导致主题被标记为删除,实际却一直删除不了的现象。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值