Kafka删除Topic

最新推荐文章于 2024-05-13 10:21:13 发布
原创 最新推荐文章于 2024-05-13 10:21:13 发布 · 637 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#删除topic

本文详细介绍如何在CDH平台上管理Kafka主题，包括配置Kafka以允许删除主题，禁用自动创建主题，以及如何使用kafka-topics.sh脚本进行主题的查看、删除和重建。同时提供清除Zookeeper中主题数据的方法。

CDH平台

 

勾选 delete.topics.enable

重启Kafka，否则Topic会标记为marked for deletion，重启才会真正删除。

取消 auto.create.topics.enable

如果有相关程序运行，如Flume，需要关闭自动创建。

 

查看Topics

kafka-topics.sh \
--zookeeper cdh-master:2181,cdh-slave01:2181,cdh-slave02:2181 \
--list

删除Topic

kafka-topics.sh \
--zookeeper cdh-master:2181,cdh-slave01:2181,cdh-slave02:2181 \
--delete \
--topic topic_cp_api

 

查看log.dirs位置

查看各个节点目录下 Topic数据是否删除，如果有 Topic文件夹删除。

 

清除zookeeper数据

这样基本没有问题，如果还有问题，清除zookeeper中的数据。

# 启动zkCli.sh
cd /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/zookeeper
bin/zkCli.sh

# 查看topics
ls /brokers/topics
ls /config/topics

# 删除
rmr /brokers/topics/topic_test
rmr /config/topics/topic_test

ls /brokers/topics

 

重建Topic被标记

如果重建Topic后被标记 Topic park is marked for deletion， 找到相关Topic删除即可。

ls /admin/delete_topics

rmr /admin/delete_topics/topic_test

 

kafka 删除topic 不成功
我还是个菜鸟
01-03 3298
利用kafka命令删除topic不成功。 kafka-topics.sh --zookeeper hadoop111:2181 --delete --topic test 原因&解决方式1. 配置文件未将delete.topic.enable=true，导致删除命令未及时生效；解决方式：第一种：找到conf目录下server.properties配置文件，修改delete.topic.enable=true，代表删除立即生效；[ssrs@hadoop111 config]$ pwd /opt/mod
Kafka系列之：不删除Kafka Topic，清理Kafka Topic中的数据
最新发布
zhengzaifeidelushang的博客
07-05 342
清理Kafka Topic中的数据
源码解析kafka删除topic
m0_66784575的博客
03-14 2795
本文依然是以kafka0.8.2.2为例讲解 一，如何删除一个topic 删除一个topic有两个关键点： 1，配置删除参数 delete.topic.enable这个Broker参数配置为True。 2，执行 bin/kafka-topics.sh --zookeeper zk_host:port/chroot --delete --topic my_topic_name 假如不配置删除参数为true的话，topic其实并没有被清除，只是被标记为删除。此时，估计一般人的做法是删除topic在Zookeep
kafka删除topic消息的三种方式
爱折腾的小土豆的博客
07-01 1万+
kafka删除topic消息的三种方式 方法一：快速配置删除法（确保topic数据不要了） 1.kafka启动之前，在server.properties配置delete.topic.enable=true 2.执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manager集群管理工具删除 注意：如果kafka启动之前没有配置delete.topic.enable=true，topic只会标记为marked
kafka----------------topic的创建，查询，删除详解
data_curd的博客
05-22 489
** 在kafka中要创建topic，首先的保证zookeeper是正常启动的，如果你有集群，要启动全部集群 ** zookeeper的启动命令： /export/server/zookeeper/bin/zkServer.sh start 启动完毕后在用jps查看下，确保启动正确 （也要启动其他集群的zookeeper） 创建topic 创建名为test的主题，有三个分区，两个副本 cd /export/servers/kafka_2.11-1.0.0 bin/kafka-topics.sh
Kafka学习笔记之如何永久删除Kafka的Topic
weixin_30746117的博客
08-15 647
0x00 问题描述 使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。 0x01问题复现 1. 登录Kafka集群所在的服务器，创建一个test的topic [root@cdh1 ~]# kafk...
删除Kafka的Topic（提示：marked for deletion）
kailingr的博客
06-13 2082
kafka存储目录由"server.properties"文件中的"log.dirs"参数指定，默认为"/tmp/kafka-logs"。删除topic时标记删除marked for deletion但未真正的删除。4.继续操作，通过zookeeper客户端zkCli.sh删除。5.查看topics目录下所有topic。7.再次查看topic列表，应该已删除。8.删除kafka存储目录（按需）删除该目录下topic相关目录。2.再次删除topic。6.删除指定topic。
【实战】kafka删除Topic常见异常排查思路及解决方案_kafka删除topic报不存在 list能看到
2401_84519859的博客
05-13 1139
在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。需要完整版PDF学习资源私我。
【Kafka】Kafka 删除topic、然后重建会接着上次消费位置消费吗？
九师兄
04-02 774
今天在群里遇到这样一个问题：flink 消费2个kafka topic a,b，状态成功保存在savepoint，途中删掉一个topic a，运行一会再把这个topic a加回来，这时候这个topic a 的状态就无法读取了，会重新消费, 但是偏移量是还保存在kafka _consumer_offsets 里面，有没有办法能让他继续从之前的offset 消费呢？这个问题，我们先拆分一下。
kafka删除标记删除(marked for deletion)的topic
u011012217的博客
12-28 2361
kafka删除标记删除的topic，彻底删除topic
kafka topic 删除
weixin_43172032的博客
12-18 1532
kafka topic 删除方法一：通过kafka 命令来删除方法二：使用zookeeper来删除topic 要删除的topic 名字为 test。 方法一：通过kafka 命令来删除 1.1 通过集群管理工具如ambari设置delete.topic.enable=true delete.topic.enable 1.2 通过kafka命令 删除topic ${KAFKA_HOME}/bin/...
彻底删除Kafka中的Topic（提示：marked for deletion）
混沌人的博客
04-28 9335
问题： kafka删除topic时发现提示只是被标记删除了，并没有真正的删除，如下： [root@lee000 ~]# kafka-topics.sh --delete --zookeeper lee000:2181 --topic my-replicated-topic Topic my-replicated-topic is already marked for deletion. [root...
【kafka】彻底删除topic
瘦熊的博客
06-17 782
如果当前topic没有使用过即没有传输过信息：可以彻底删除 如果当前topic有使用过即有过传输过信息：并没有真正删除topic只是把这个topic标记为删除（marked for deletion）。 删除logs，server.properties -> log.dirs=/var/kafka/log/tmp rm -rf /var/kafka/log/tmp/test* 删除k...
彻底删除Kafka中的topic
weixin_38011805的博客
02-02 257
删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录 Kafka 删除topic的命令是： ./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true，那么此时的删除并不是真..
Kafka删除topic
热门推荐
不是一枚开发
03-07 7万+
彻底删除Kafka中的topic 1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录 2、Kafka 删除topic的命令是： ./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enabl
新版kafka彻底删除topic
mafei6827的博客
10-08 1870
使用kafka时，经常创建一些测试的topic，之后想把这些topic删除掉的时候，尝试了一些网上的方法，总是无法彻底删除。 总结了一下，应该是跟新版kafka和旧版kafka对zookeeper的依赖程度有关，有些zookeeper删除操作是不必要的了。kafka中zookeeper的使用参考https://www.jianshu.com/p/a036405f989c。借用一张图如下： ...
Kafka彻底删除topic
愤怒的小兵
06-10 3706
kafka默认仅做删除标记，并没有真实删除，若要真实删除topic 方法一：修改配置文件server.properties并进行重启 server.properties添加：delete.topic.enable=true，然后重启 删除测试 # 创建topic > ./bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2180 --replication-factor 1 --partitions 1 --topic test Created
kafka 彻底删除 topic 及数据
magic_kid_2010的专栏
01-16 3796
默认情况，当我们删除 topic 并不会真正删除，只是把队列标记为marked for deletion 如果我们要彻底删除 topic 及数据，可采用一下方法 [方法一] 修改 kafka/conf/server.properties，增加delete.topic.enable=true，然后重启 kafka，通过命令行删除 kafkfa 即可 ./kafka-topics.sh -...
Kafka topic删除后，提示为- marked for deletion
weixin_38846022的博客
10-25 8429
查看topic信息 ./kafka-topics.sh --list --zookeeper 192.169.2.103:2181 topic后面为marked for deletion，则表示topic没有真正被删除 首先查看kafka配置文件有没有添加 delete.topic.enable=true 没有的话，加上，重启kafka再次查看topic列表是否有删除 如果topic还是为m...
kafka删除topic
08-09
要在Kafka中删除一个topic，你可以按照以下步骤进行操作： 1. 确保你有对Kafka集群的管理权限。 2. 在任意一个Kafka服务器上打开终端或命令提示符窗口。 3. 使用kafka-topics.sh脚本（或kafka-topics.bat脚本，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

訾零

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值