kafka工具kafka-topic.sh

最新推荐文章于 2025-04-05 13:43:32 发布
最新推荐文章于 2025-04-05 13:43:32 发布
阅读量2.9k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zqz_zqz/article/details/78177704
本文介绍如何使用kafka-topic.sh工具进行Kafka Topic的基本管理，包括创建、列出、描述及删除等操作，并解释了相关参数的意义。

kafka 工具 kafka-topic.sh

操作

kafka-topic.sh有6种操作：

创建topic – create

[lch@linux129 bin]$ ./kafka-topics.sh --create --zookeeper ip:2181,ip:2181 --replication-factor 2 --partitions 20 --topic TEST
参数说明：
--replication-factor    : 表明 副本的个数， 这里写成2，表明会有两个副本
--partitions              :  表明会有20个partition， 表现在log日志中，就是有20个文件夹,名称以“topic-编号” ，编号从0~19

执行完成后去kafka数据目录下查看，会看到创建了两个文件夹

    test-0
    test-1
    test-2

注： 在leader节点上面才是20个文件夹，如果是从节点上面，可能只有一个也可能没有

列出全部的topic –list命令

[root@tingyun bin]# ./kafka-topics.sh --zookeeper=localhost:2181  --list
__consumer_offsets
crashMessage
mobileActions
mobileActionsWrappedMessages
mobileErrors
mobileErrorsWrappedMessages
mobileInteractionTraces
mobileInteractionTracesWrappedMessages
mobileReportUsers
mobileReportUsersWrappedMessages

列出全部topic的信息 –describe

包括每个分区的leader，副本，isr信息

[root@tingyun bin]# ./kafka-topics.sh --zookeeper=localhost:2181  --describe
Topic:__consumer_offsets    PartitionCount:50   ReplicationFactor:3 Configs:segment.bytes=104857600,cleanup.policy=compact,compression.type=uncompressed
    Topic: __consumer_offsets   Partition: 0    Leader: 4   Replicas: 4,0,1 Isr: 0,1,4
    Topic: __consumer_offsets   Partition: 1    Leader: 0   Replicas: 0,1,2 Isr: 0,1,2
    Topic: __consumer_offsets   Partition: 2    Leader: 1   Replicas: 1,2,3 Isr: 1,3,2
    Topic: __consumer_offsets   Partition: 3    Leader: 2   Replicas: 2,3,4 Isr: 3,4,2
    Topic: __consumer_offsets   Partition: 4    Leader: 3   Replicas: 3,4,0 Isr: 0,3,4
    Topic: __consumer_offsets   Partition: 5    Leader: 4   Replicas: 4,1,2 Isr: 1,4,2
    Topic: __consumer_offsets   Partition: 6    Leader: 0   Replicas: 0,2,3 Isr: 0,3,2
    Topic: __consumer_offsets   Partition: 7    Leader: 1   Replicas: 1,3,4 Isr: 1,3,4
    Topic: __consumer_offsets   Partition: 8    Leader: 2   Replicas: 2,4,0 Isr: 0,4,2
    Topic: __consumer_offsets   Partition: 9    Leader: 3   Replicas: 3,0,1 Isr: 0,1,3
    Topic: __consumer_offsets   Partition: 10   Leader: 4   Replicas: 4,2,3 Isr: 3,4,2
    Topic: __consumer_offsets   Partition: 11   Leader: 0   Replicas: 0,3,4 Isr: 0,3,4
    Topic: __consumer_offsets   Partition: 12   Leader: 0   Replicas: 1,4,0 Isr: 0,1,4
    Topic: __consumer_offsets   Partition: 13   Leader: 2   Replicas: 2,0,1 Isr: 0,1,2
    Topic: __consumer_offsets   Partition: 14   Leader: 3   Replicas: 3,1,2 Isr: 1,3,2
    Topic: __consumer_offsets   Partition: 15   Leader: 4   Replicas: 4,3,0 Isr: 0,3,4
    Topic: __consumer_offsets   Partition: 16   Leader: 0   Replicas: 0,4,1 Isr: 0,1,4
    Topic: __consumer_offsets   Partition: 17   Leader: 0   Replicas: 1,0,2 Isr: 0,1,2
    Topic: __consumer_offsets   Partition: 18   Leader: 2   Replicas: 2,1,3 Isr: 1,3,2
    Topic: __consumer_offsets   Partition: 19   Leader: 3   Replicas: 3,2,4 Isr: 3,4,2
    Topic: __consumer_offsets   Partition: 20   Leader: 4   Replicas: 4,0,1 Isr: 0,1,4
    Topic: __consumer_offsets   Partition: 21   Leader: 0   Replicas: 0,1,2 Isr: 0,1,2
    Topic: __consumer_offsets   Partition: 22   Leader: 1   Replicas: 1,2,3 Isr: 1,3,2
    Topic: __consumer_offsets   Partition: 23   Leader: 2   Replicas: 2,3,4 Isr: 3,4,2
    Topic: __consumer_offsets   Partition: 24   Leader: 3   Replicas: 3,4,0 Isr: 0,3,4
    Topic: __consumer_offsets   Partition: 25   Leader: 4   Replicas: 4,1,2 Isr: 1,4,2
    Topic: __consumer_offsets   Partition: 26   Leader: 0   Replicas: 0,2,3 Isr: 0,3,2
    Topic: __consumer_offsets   Partition: 27   Leader: 1   Replicas: 1,3,4 Isr: 1,3,4
    Topic: __consumer_offsets   Partition: 28   Leader: 2   Replicas: 2,4,0 Isr: 0,4,2
    Topic: __consumer_offsets   Partition: 29   Leader: 3   Replicas: 3,0,1 Isr: 0,1,3
    Topic: __consumer_offsets   Partition: 30   Leader: 4   Replicas: 4,2,3 Isr: 3,4,2
    Topic: __consumer_offsets   Partition: 31   Leader: 0   Replicas: 0,3,4 Isr: 0,3,4
    Topic: __consumer_offsets   Partition: 32   Leader: 0   Replicas: 1,4,0 Isr: 0,1,4
    Topic: __consumer_offsets   Partition: 33   Leader: 2   Replicas: 2,0,1 Isr: 0,1,2
    Topic: __consumer_offsets   Partition: 34   Leader: 3   Replicas: 3,1,2 Isr: 1,3,2
    Topic: __consumer_offsets   Partition: 35   Leader: 4   Replicas: 4,3,0 Isr: 0,3,4
    Topic: __consumer_offsets   Partition: 36   Leader: 0   Replicas: 0,4,1 Isr: 0,1,4
    Topic: __consumer_offsets   Partition: 37   Leader: 0   Replicas: 1,0,2 Isr: 0,1,2
    Topic: __consumer_offsets   Partition: 38   Leader: 2   Replicas: 2,1,3 Isr: 1,3,2
    Topic: __consumer_offsets   Partition: 39   Leader: 3   Replicas: 3,2,4 Isr: 3,4,2
    Topic: __consumer_offsets   Partition: 40   Leader: 4   Replicas: 4,0,1 Isr: 0,1,4
    Topic: __consumer_offsets   Partition: 41   Leader: 0   Replicas: 0,1,2 Isr: 0,1,2
    Topic: __consumer_offsets   Partition: 42   Leader: 1   Replicas: 1,2,3 Isr: 1,3,2
    Topic: __consumer_offsets   Partition: 43   Leader: 2   Replicas: 2,3,4 Isr: 3,4,2
    Topic: __consumer_offsets   Partition: 44   Leader: 3   Replicas: 3,4,0 Isr: 0,3,4
    Topic: __consumer_offsets   Partition: 45   Leader: 4   Replicas: 4,1,2 Isr: 1,4,2
    Topic: __consumer_offsets   Partition: 46   Leader: 0   Replicas: 0,2,3 Isr: 0,3,2
    Topic: __consumer_offsets   Partition: 47   Leader: 1   Replicas: 1,3,4 Isr: 1,3,4
    Topic: __consumer_offsets   Partition: 48   Leader: 2   Replicas: 2,4,0 Isr: 0,4,2
    Topic: __consumer_offsets   Partition: 49   Leader: 3   Replicas: 3,0,1 Isr: 0,1,3
Topic:TEST  PartitionCount:20   ReplicationFactor:1 Configs:
    Topic: TEST Partition: 0    Leader: 4   Replicas: 4 Isr: 4
    Topic: TEST Partition: 1    Leader: 0   Replicas: 0 Isr: 0
    Topic: TEST Partition: 2    Leader: 1   Replicas: 1 Isr: 1
    Topic: TEST Partition: 3    Leader: 2   Replicas: 2 Isr: 2
    Topic: TEST Partition: 4    Leader: 3   Replicas: 3 Isr: 3
    Topic: TEST Partition: 5    Leader: 4   Replicas: 4 Isr: 4
    Topic: TEST Partition: 6    Leader: 0   Replicas: 0 Isr: 0
    Topic: TEST Partition: 7    Leader: 1   Replicas: 1 Isr: 1
    Topic: TEST Partition: 8    Leader: 2   Replicas: 2 Isr: 2
    Topic: TEST Partition: 9    Leader: 3   Replicas: 3 Isr: 3
    Topic: TEST Partition: 10   Leader: 4   Replicas: 4 Isr: 4
    Topic: TEST Partition: 11   Leader: 0   Replicas: 0 Isr: 0
    Topic: TEST Partition: 12   Leader: 1   Replicas: 1 Isr: 1
    Topic: TEST Partition: 13   Leader: 2   Replicas: 2 Isr: 2
    Topic: TEST Partition: 14   Leader: 3   Replicas: 3 Isr: 3
    Topic: TEST Partition: 15   Leader: 4   Replicas: 4 Isr: 4
    Topic: TEST Partition: 16   Leader: 0   Replicas: 0 Isr: 0
    Topic: TEST Partition: 17   Leader: 1   Replicas: 1 Isr: 1
    Topic: TEST Partition: 18   Leader: 2   Replicas: 2 Isr: 2
    Topic: TEST Partition: 19   Leader: 3   Replicas: 3 Isr: 3

删除topic –delete

 [root@hadoop221 bin]# ./kafka-topics.sh  --zookeeper ip:port  --topic TEST  --delete

topic无法删掉
Topic TEST is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

需要增加配置参数：delete.topic.enable=true

修改topic时配置参数 –alter –config

覆盖已经有topic参数

 [root@hadoop221 bin]# ./kafka-topics.sh --zookeeper zk_host:port  --topic TEST --alter --config flush.messages=1

删除topic级别配置参数

 [root@hadoop221 bin]# ./kafka-topics.sh --zookeeper zk_host:port --alter --topic TEST --delete-config flush.messages=1

修改topic分区数量

 [root@hadoop221 bin]# ./kafka-topics.sh --zookeeper zk_host:port --alter --topic TEST --partitions 6
60-10-020-命令-kafka-topics.sh
九师兄
01-06 645
文章目录1.视界2.新建topic3. 查看kafka topic列表4. 查看kafka特定topic的详情5.生产者6.消费者 1.视界 2.新建topic lcc@localhost bin$ ./kafka-topics.sh --create --zookeeper localhost:2181,localhost:2182,localhost:2183 --replication-factor 1 --partitions 1 --topic xtwy Error while executi
kafka之kafka-topic.sh常用shell命令
weixin_43844003的博客
07-28 842
前置条件：已安装kafka程序和zookeeper kafka的目录结构如下： 1 使用命令前的准备 获取zookeeper的地址 # cd config/ # cat server.properties 2 常用kafka命令 2.1 创建topic [root@master kafka_2.11-2.1.0]# cd bin/ //进入bin目录 [root@master bin]# sh kafka-topics.sh --zookeeper 127.0.0.1:2181 --c.
掌握Kafka的topics：使用kafka-topics.sh的综合指南
Lion_Long的博客
11-26 7743
介绍Kafka的基本操作，包括创建topic、查看topic、查看topic属性、发送消息和消费消息等。重点介绍了kafka-topics.sh的使用方式，包括如何查看帮助、副本数量规则、创建主题、查看broker上所有的主题、查看指定主题的详细信息、修改主题信息之增加主题分区数量以及删除主题等。通过本文了解到如何使用kafka-topics.sh来有效地管理Kafka主题。
Kafka常用命令之kafka-topics.sh
热门推荐
Ernest
05-05 4万+
  本文所有命令都是基于 KAFKA_HOME 目录下运行。   kafka-topics 脚本主要负责 topic 相关的操作。它的具体实现是通过 kafka-run-class 来调用 TopicCommand 类，并根据参数执行指定的功能。 一 创建 Topic   TopicCommand.createTopic() 方法负责创建 Topic，其核心逻辑是确定新建 Topic 中有多...
Kafka~kafka-topics.sh
feizuiku0116的博客
05-25 419
1.参数 参数 描述 –bootstrap-server 连接的Kafka Broker主机名称和端口号 –topic 操作的topic名称 –create 创建主题 –delete 删除主题 –alter 修改主题 –list 查看所有主题 –describe 查看主题详细描述 –partition 设置分区数 –replication-factor 设置分区副本 –config 更新系统默认的配置 2.实例 查看当前服务器中的所有topic b
kafka-2.10-0.10.2.1.zip
03-11
- 生产消息：`bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic`，然后在命令行输入消息。 - 消费消息：`bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic...
最新版kafka kafka_2.12-2.5.1.tgz
08-13
- 创建主题：`bin/kafka-topics.sh --create --topic my-topic --partitions 3 --replication-factor 2 --bootstrap-server localhost:9092` - 发布消息：`bin/kafka-console-producer.sh --broker-list localhost...
kafka-2.12-3.6.1.tgz
12-19
/usr/local/kafka_2.12-3.6.1/bin/kafka-topics.sh --create --topic my-topic --partitions 3 --replication-factor 2 --if-not-exists --zookeeper localhost:2181 ``` 七、生产消息 创建一个简单的消息生产者，...
kafka-eagle-bin-2.1.0.tar.gz
07-05
4. 启动：执行`bin/kafka-eagle-start.sh`启动服务，使用`bin/kafka-eagle-stop.sh`停止服务。 5. 访问：在Web浏览器中输入`http://服务器IP:端口`，按照提示进行登录和操作。 ### 使用注意事项 1. 确保运行环境已...
kafka_2.11-2.0.0.tgz
07-03
- **Kafka Metrics**：Kafka提供了丰富的监控指标，可以通过JMX或Prometheus等工具进行监控。 - **故障恢复**：通过副本机制，当主副本失败时，可以从副本中选举新的主副本，保证服务不间断。 总结，Kafka_2.11-...
使用java操作zookeeper实现kafka-topics.sh的功能
aisu_yan的博客
12-11 724
使用java操作zookeeper实现kafka-topics.sh的功能需求代码如下遇到的问题 需求 因为工作要求，需要对测试环境的kafka的所有topic增加分区。因为topic很多，所以手动使用命令行实现不太现实（写这篇文章的时候忽然想起来也可以实现。只需要写个脚本，加一个循环就可以了，好像还简单一点-_-||）。所以寻求通过代码连接客户端的方式实现。 代码如下 import kafka....
kafka-topics.sh脚本详解
徐海兴的专栏
11-27 4884
通过脚本进行主题的管理，包括：创建主题、查看主题、修改主题、删除主题等操作。内部是靠kafka.admin.TopicCommand接收参数运行。 [xuhaixing@xhx151 ~]$ kafka-topics.sh --help This tool helps to create, delete, describe, or change a topic. Option Description
【Kafka基础】topic命令行工具kafka-topics.sh：基础操作命令解析
IT成长日记的博客
04-05 1073
Kafka作为分布式流处理平台的核心组件，其主题管理是每个开发者必须掌握的关键技能。本文将详细解析kafka-topics.sh工具的使用技巧，从基础操作操作开始，助您轻松驾驭Kafka主题管理。
Kafka中shell命令使用（创建、查看、修改和删除Topic，模拟创建生产者和消费者）
IT之一小佬的博客
10-19 7116
Kafka中shell命令使用（创建、查看、修改和删除Topic，模拟创建生产者和消费者）
读书笔记-kafka常用操作命令-kafka-topics.sh
sailor_q的博客
03-23 4356
1. 创建topic bin/kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic topic-create --partitions 4 --replication-factor 2 返回结果：Created topic "topic-create". 参数解析 --zookeeper 指定kafka所连接的zookeeper服务地址 --topic 指定所要创建主题的名称 --replicator-factor
kafka-topics.sh工具:查看/删除/修改/创建主题
qq_28603127的博客
06-06 2226
kafka-topics.sh 是kafka自带管理主题的工具. 创建主题: 创建一个叫 topicName并且有三个分区,每个分区有三个副本的副本 ./kafka-topics.sh --zookeeper zkip:2181 --create --topic topicName --replication-factor 3 --partitions 3 –zookeeper 指定zk连接地址(kafka主题以及分区信息保存在zk) –create 创建 (–delete 删除) –rep
kafka-topics.sh topic主题crud
学亮编程手记
05-12 498
create delete describe
kafka kafka-run-class.sh 查看某个topic的消息数量
最新发布
08-17
根据用户的问题，他想要使用`kafka-run-class.sh`来查看Kafka中某个topic的消息数量（即总数据量）。在之前的回答中，我已经介绍了两种方法，其中方法一就是使用`kafka-run-class.sh`（实际上是调用`kafka.tools....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值