kafka删除主题验证:
开发环境上3节点kafka集群
consumer影响
producer影响
数据是否清除
再建主题是否会有影响
版本 2.2.0
即使没有建立主题,producer和consumer指定相同主题,也可以通信,关闭通信后数据不会消失。
一 没有进行过数据传输
关闭consumer和producer,删除主题顺利,不影响下次创建。
开启consumer和producer,删除主题不顺利,主题存在,每个分区复制因子变为1,消费者报warning:yang2=LEADER_NOT_AVAILABLE,关闭consumer和producer再删除即可。
二 进行过数据传输
bin/kafka-topics.sh --create --zookeeper ip:port --topic yang1 --partitions 3 --replication-factor 3
1.consumer、producer关闭,delete执行,describe显示主题不存在;
运行consumer显示3个分区,复制因子为1的主题,运行producer,生产者和消费者可以交互。consumer运行不会会把此次之前的消息读出来(生产者不关闭,消费者重复关闭开启也不会读取之前的信息),即不通过命令行,运行consumer生成的主题是临时性,数据不会持久存储。
运行producer显示3个分区,复制因子为1的主题,运行consumer,不读取刚才输入数据,可以交互,印证上文的数据不会持久存储。
2.consumer、producer开启,delete执行,describe显示主题存在,3分区,1副本,可以交互;
然后consumer、producer关闭,再执行delete,describe显示主题不存在,运行consumer、producer可以交互,consumer关闭再开启读取不到历史数据,describle显示主题存在,3分区,1副本。
重新建立同名topic,分区数和复制因子不同,consumer不会读取到以前所有数据
版本2.3.0
即使没有建立主题,producer和consumer指定相同主题,也可以通信,关闭通信后数据消失,建立一个分区1,副本1的新主题。
1.未进行数据传输
关闭consumer和producer,删除主题顺利,不影响下次创建。
开启consumer和producer,删除主题不顺利,主题存在,每个分区复制因子变为1,再删除可以
运行consumer和producer通信,describe显示一个分区、复制因子为1的主题。删除主题,运行consumer,读取不到数据
2.进行过数据传输
关闭consumer和producer,删除主题顺利,不影响下次创建,consumer读取不到以前数据。
开启consumer和producer,删除主题不顺利,主题存在,分区数为1,复制因子为1,再次删除成功,开启消费者,读取不到以前数据,创建一个分区数1,复制因子为1的主题。
重新建立同名分区,分区数和复制因子不同,consumer读取不到以前数据。
结论:
针对遇到的忘记建立相应主题的情况,正确做法应该是停掉包含生产者和消费者的所有模块,delete删除主题,describe检查主题是否存在,等待主题删除后,重新建立即可。不需要删除相应zookeeper和kafka文件,如果删除操作反而会导致主题被标记为删除,实际却一直删除不了的现象。
。