kafka彻底删除topic及相关数据

完全删除Kafka Topic及数据的步骤
最新推荐文章于 2024-11-19 04:10:37 发布
原创 最新推荐文章于 2024-11-19 04:10:37 发布 · 434 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Linux #kafka #zookeeper #topic

本文详细介绍了如何彻底删除Kafka的Topic及其相关数据，包括修改配置以允许删除Topic，执行删除命令，清理Kafka存储目录，以及从Zookeeper中移除存储信息。在确保所有操作完成后，还需检查Topic是否已被成功删除。

kafka彻底删除topic及相关数据

修改配置

1、停止要删除topic的生产和消费程序，否则无法删除。同时，需要设置auto.create.topics.enable = false，默认设置为true，如果设置为true，则produce或者fetch 不存在的topic也会自动创建这个topic。这样会给删除topic带来很多意向不到的问题。
2、server.properties 设置delete.topic.enable=true，如果没有设置 delete.topic.enable=true，则调用kafka 的delete命令无法真正将topic删除，而是显示（marked for deletion）

删除topic命令

./bin/kafka-topics.sh --delete --zookeeper [zookeeper的ip地址：端口号] --topic [要删除的topic名称]

删除kafka存储目录

1、先查找存储目录：vi config/server.properties，找到log.dirs字段
2、查找到的目录：log.dirs=/root/code/packages/data/kk/logs
3、进入存储目录：cd /root/code/packages/data/kk/logs,删除相关的topic的数据目录
PS：如果还是无法删除topic，则需要对kafka中的zookeeper存储信息删除。

删除zookeeper存储信息

1、找到zookeeper的目录，使用命令：
./bin/zkCli.sh -server [zookeeper的ip地址：端口号]
2、登录zk shell之后，找到topic目录：ls /brokers/topics
3、找到要删除的topic：rmr /brokers/topics/[要删除的topic名称]
4、如果topic被标记为marked for deletion，则通过ls /admin/delete_topics，找到要删除的topic，然后在执行命令：rmr /admin/delete_topics/[要删除的topic名称]

查看topic是否被删除

使用命令：./bin/kafka-topics.sh --list --zookeeper [zookeeper的ip地址：端口号]
查看删除的topic是否还在，如果这里还是出现，则重启zookeeper和kafka就可以了。

【Kafka】Kafka如何彻底删除Kafka中的topic
九师兄
09-26 3045
工作中因为各种原因， 例如topic中消息堆积的太多，或者kafka所在磁盘空间满了等等，可能需要彻底清理一下kafka topic，那么如何彻底删除topic？在 Apache Kafka 中，当你删除一个主题（Topic）时，主题的删除操作实际上是异步的。Kafka 不会立即删除主题，而是将删除请求添加到一个内部的主题中，该主题称为 __consumer_offsets。这个主题包含了消费者组的偏移量信息，以便 Kafka 知道每个消费者组的消费状态。
Kafka应用系列：Java代码演示彻底删除Kafka Topic数据
JieLun_C的博客
08-15 602
在上面的代码中，我们首先创建了一个KafkaAdminClient的配置，并指定了Kafka集群的地址。最后，我们调用admin.deleteTopics方法来删除指定的Topic，并通过将结果存储在DeleteTopicsResult对象中来获得删除操作的结果。通过创建KafkaAdminClient实例，并调用deleteTopics方法，我们可以删除指定Topic的所有数据。当然，要谨慎使用这个功能，因为删除数据是不可逆的操作，在正式环境中，请务必谨慎操作。
kafka彻底删除topic
数据之路
03-20 5613
今天发现一个线上kafka(版本为0.8.2.2)多天前已不再消费的topic标记为删除(marked for deletion)，而我们每天有定时删除topic的shell脚本，会把无用的topic干掉，但发现这些topic只是被标记为删除，而并没有真正删除
kafkas删除topic数据
song_quan_的博客
06-13 7364
生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。要求：默认保持24小时，某些topic 需要保留2小时或者6小时主要有3个：1. 基于时间2. 基于日志大小3. 基于日志起始偏移量详情，请参考链接：Kafka日志清理之Log Deletion_朱小厮的博客-优快云博客_log.cleanup.policy接下来，主要介绍基于时间的清除！kafka版本为: 2.11-1.1.0zk版本为: 3.4.13 # 启用删除主题 delete.topic.enable=true
kafka 删除topic清空数据
u010637366的博客
04-20 3036
一般情况下，是不会删除数据的。到达一定时间后，kafka会自动删除。如果一定要删除可以删除topic在重建topic了 No. 1： 如果需要被删除topic 此时正在被程序 produce和consume，则这些生产和消费程序需要停止。 因为如果有程序正在生产或者消费该topic，则该topic的offset信息一致会在broker更新。调用kafka delete命令则无法删除该topi...
kafka 手动删除topic的数据
weixin_34223655的博客
11-10 1243
2019独角兽企业重金招聘Python工程师标准>>> ...
kafka彻底删除topic(cleanup policy)、清除特定topic数据
微电子学与固体电子学-俞驰
06-26 2691
①$KAFKA/bin/kafka-topics.sh --delete --zookeeper Desktop:2181 --topic test-0921 ②$ZOOKEEPER/bin/zkCli.sh -server Desktop:2181 delete /config/topics/test-0921 deleteall /brokers/topics/test-0921
Kafka源码系列教程之删除topic
08-27
Kafka源码系列教程之删除topic Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。删除topic是Kafka中的一种常见操作，本文将详细介绍删除topic的过程，包括配置删除参数、执行删除命令、...
kafka 删除topic 不成功
我还是个菜鸟
01-03 3273
利用kafka命令删除topic不成功。 kafka-topics.sh --zookeeper hadoop111:2181 --delete --topic test 原因&解决方式1. 配置文件未将delete.topic.enable=true，导致删除命令未及时生效；解决方式：第一种：找到conf目录下server.properties配置文件，修改delete.topic.enable=true，代表删除立即生效；[ssrs@hadoop111 config]$ pwd /opt/mod
kafka删除topic
云无痕的博客
03-28 388
运行./kafka-topics.sh -delete -zookeeper [zookeeper server] -topic [topic name]；如果kafka启动时加载的配置文件server.properties没有配置delete.topic.enable = true,那么此时的删除并不是真正的删除。而只是把topic标记为：marked for deletion,此时就需要执行下...
kafka_topic创建、分区、删除管理
11-23
kafka管理工具，主要用于创建、删除、查看管理topic信息
kafka 彻底删除 topic 及数据
magic_kid_2010的专栏
01-16 3774
默认情况，当我们删除 topic 并不会真正删除，只是把队列标记为marked for deletion 如果我们要彻底删除 topic 及数据，可采用一下方法 [方法一] 修改 kafka/conf/server.properties，增加delete.topic.enable=true，然后重启 kafka，通过命令行删除 kafkfa 即可 ./kafka-topics.sh -...
kafka如何彻底删除topic及数据
yizhiniu_xuyw的专栏
02-17 587
前言： 删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法。 step1： 如果需要被删除topic 此时正在被程序 produce和consume，则这些生产和消费程序需要停止。 因为如果有程序正在生产或者消费该topic，则该topic的offset信息一致会在broke
Kafka--批量删除所有topic(或删除以 xxx 为开头的topic)
justlpf的专栏
06-08 1745
【代码】Kafka--批量删除所有topic(或删除以 xxx 为开头的topic)
Kafka的主题删除机制
AlgoRain的博客
09-14 1019
Kafka的主题删除机制 命令删除 在Kafka中当一个主题不再使用的时候，可以选择将其删除，以此来释放磁盘，文件句柄等资源，删除过程其实很简单，使用kafka-topics.sh脚本中的delete指令就可以。 bin/kafka-topics.sh --zookeeper localhost:2181/kafka --delete --topic topic-delete 在删除完毕后，会有相应的提示信息，提示信息与broker端配置参数delete.topic.enable有关，必须将delete.
如何删除Kafka中的数据以及删除topic
最新发布
weixin_48968553的博客
11-19 2300
如何删除Kafka数据已经以及删除topic呢？
Kafka如何彻底删除topic及数据
04-15 6199
server.properties文件log.dirs配置(CDH中查找配置log.dirs)，默认为 /app/kafka/data 相关topic的数据目录，如果kafka 有多个 broker，需要删除每个broker 的数据盘的topic的所有分区数据。原文链接：https://blog.youkuaiyun.com/chenxi5404/article/details/118512339。/opt/cloudera/parcels/CDH/lib/zookeeper/bin/zkCli.sh（路径）
kafka删除topic消息的三种方式
热门推荐
爱折腾的小土豆的博客
07-01 1万+
kafka删除topic消息的三种方式 方法一：快速配置删除法（确保topic数据不要了） 1.kafka启动之前，在server.properties配置delete.topic.enable=true 2.执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manager集群管理工具删除 注意：如果kafka启动之前没有配置delete.topic.enable=true，topic只会标记为marked
Kafka 彻底删除 topic 操作命令流程
2.wa
11-22 7120
如果只是用kafka-topics.sh的delete命令删除topic，会有两种情况 1.如果当前topic没有使用过即没有传输过信息：可以彻底删除 2.如果当前topic有使用过即有过传输过信息：并没有真正删除topic只是把这个topic标记为删除（marked for deletion） 针对第二种情况（以game_log_game_skuld_01这个top
kafka删除topic数据
07-25
要删除 Kafka 中的一个 topic 的数据，你可以按照以下步骤进行操作： 1. 停止 Kafka 服务：首先，确保 Kafka 服务已经停止运行，以免在删除数据时出现意外情况。 2. 删除 topic 数据目录：在 Kafka 的配置文件中，你可以找到 `log.dirs` 参数，该参数指定了 Kafka 存储 topic 数据的目录。默认情况下，数据目录位于 Kafka 安装目录下的 `data` 文件夹中。你可以使用文件管理器或命令行工具进入该目录，并删除与你想要删除数据的 topic 相关的文件夹。 3. 清理 ZooKeeper 数据：Kafka 使用 ZooKeeper 来保存元数据信息。在删除 topic 数据后，你需要清理掉 ZooKeeper 中与该 topic 相关的元数据。你可以使用 Kafka 提供的 `kafka-topics.sh` 脚本来删除 ZooKeeper 中的元数据。 在 Kafka 安装目录下找到 `bin` 文件夹，并进入该文件夹。然后使用以下命令删除 topic 的元数据： ``` ./kafka-topics.sh --zookeeper <ZooKeeper 地址> --delete --topic <要删除的 topic 名称> ``` 其中，`<ZooKeeper 地址>` 是你的 ZooKeeper 服务器地址，`<要删除的 topic 名称>` 是你要删除的 topic 的名称。 4. 启动 Kafka 服务：完成上述步骤后，你可以重新启动 Kafka 服务，这样已经删除的 topic 数据就会彻底清除。 请注意，删除 topic 数据是一个不可逆的操作，一旦删除，数据将无法恢复，请谨慎操作并确保你真正需要删除这些数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值