Kafka笔记--常用指令(新建、删除topic)

最新推荐文章于 2025-09-05 15:08:23 发布

weixin_30763455

最新推荐文章于 2025-09-05 15:08:23 发布

阅读量94

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/gnivor/p/4950984.html

本文介绍如何使用kafka-topics.sh脚本创建与删除Kafka主题。通过具体命令演示了创建带有指定分区数量及复制因子的主题，并说明了删除主题前需要进行的配置更改。

新建topic

./kafka-topics.sh --zookeeper 192.168.1.160:2181 --create --topic kafkatestsmall2 --partitions 2 --replication-factor 1

删除topic

首先需要设置server.properties，最后一行添加 delete.topic.enable=true

然后运行> ./kafka-topics.sh --zookeeper node4:2181,node3:2181 --delete --topic topic1

转载于:https://www.cnblogs.com/gnivor/p/4950984.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30763455

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Kafka笔记

白豆五的博客

05-31

1094

Kafka是一个分布式流处理平台，它可以处理消息数据流，由Scala和Java编写。Kafka最初由LinkedIn开发，现在是Apache软件基金会的一部分。Kafka的主要目的是在高性能、高吞吐量的情况下处理消息，是一个可扩展、可靠、容错的消息流平台。Kafka的基本组件包括producer、broker、以及consumer。

Kafka笔记-2-kafka安装步骤及常用命令

一名java从业者的专栏

06-30

841

kafka安装步骤 zookeeper安装 kafka常用命令 zookeeper命令

参与评论您还未登录，请先登录后发表或查看评论

删除kafka的topic

allen的博客

10-15

446

1、kafka-topics --zookeeper zookeeper01:2181,zookeeper02:2181,zookeeper03:2181/kafka --delete --topic MQ_TOPIC_KAFKA_PROFILE_SYSTEM 2、进入zookeeper-client: rmr /kafka/brokers/topics/MQ_TOPIC_KAFKA_PROFI

delete.topic.enable=true,然后通过kafka manager能删除干净吗?

延宝小白马的博客

03-29

7637

delete.topic.enable=true ； auto.create.topics.enable=false ；只有这两个参数同时开启，kafka-manager才可以将某个topic删除干净。 auto.create.topics.enable意思是：produce可以推送消息到一个不存在的topic（即：发消息到一个不存在的topic,系统会帮你按默认参数...

Kafka学习笔记-常用命令

曹振浩

03-28

3689

特性高吞吐量、低延迟，kakka每秒可以处理几十万条消息，它的延迟最低只有几毫秒,每个主题可以分为多个分区，消费组可以对分区进行消费操作。可扩展性；kafka集群支持热扩展扩展性；可靠性，消费被持久化到本地磁盘，并支持数据备份防止数据丢失; 容错性；允许集群中节点失败（若副本数量为n，则允许n-1个节点失败）; 高并发：支持数千个客户端同时读写使用场景日志收集：一个公司可以用kafka收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer,例如hadoop、Hba

kafka学习笔记--常用指令

香蕉的博客

04-19

357

常用指令： //新建虚拟窗口 kafka，在每台上执行 $ screen -S kafka // 退出虚拟窗口 kafka，在每台上执行 $ Ctrl+A+D 1.// 创建 topic $ kafka-topics.sh --create --zookeeper cluster1:2181,cluster2:2181,cluster3:2181 --replication-factor...

sheng的学习笔记-kafka框架原理

coldstarry的专栏

02-14

1159

环境搭建官网地址：Apache Kafka 下载安装包，注意下载bin的，别下载src的修改配置文件，在config中修改server.properties listeners=PLAINTEXT://127.0.0.1:9092 基础知识代码持久化事务签收协议集群 ......

kafka4.0---启动。修改配置：

wangjingzepashei的博客

04-11

1462

kafka---4.0 win环境集群部署与springboot整合使用学习笔记 -- 附压缩包

Kafka笔记|02-Kafka 生产者客户端开发

Java 小先

04-05

604

这一小节主要内容是如何编写 Java 版的 “Hello World” 生产者客户端，实践如何通过 Java 客户端向 Kafka 发送消息。

Centos7 安装kafka_2.12-2.1.0笔记【单机版】

yundanfengqingfeng的专栏

12-04

5468

1、JDK的依赖查看Centos 系统有没有安装JDK ：javac -version 假如没有，请查看：https://mp.youkuaiyun.com/postedit/84523339 2、安装单独的zookeeper 虽然 kafka 已经内集成有zookeeper，但是要做集群，还是独自安装zookeeper比较好。（虽然我现在是安装单机版。）使用命令直接下载zookeeper： //下...

Kafka-3.2.0-单体踩坑笔记

iku_whf的博客

06-23

1712

Kafka 安装->使用

尚硅谷Kafka教程 2019 --- 狗剩学习笔记

狗剩的专栏

01-31

3875

尚硅谷Kafka教程(kafka框架快速入门) https://www.bilibili.com/video/BV1a4411B7V9?p=1 kafka 是一个基于发布/订阅模式的分布式消息队列 (Message Queue)

flume-kafka的操作笔记（Ubuntu）

qq_44716382的博客

07-17

357

1.Linux系统中vim编辑器的安装和使用方法 1.安装 vim编辑器是Linux系统上最著名的文本/代码编辑器，是vi编辑器的加强版，可以完成文件的创建和代码的编写，打开一个终端，然后，执行下面命令完成vim编辑器的安装： sudo apt-get install vim 2.执行上面命令以后，如果屏幕上出现信息要求进行确认，在提示处输入“y” 即可。下面演示一个实例来了解vim编辑器的使用方法。假设要在“/home/hadoop/”目录下新建一个文件word.txt，里面包含一些单词。可以执行下

Kafka学习笔记01【2024最新版】

xizheng2018的博客

04-24

2158

为什么分布式系统之间它需要使用一个软件来完成数据交换的这个过程？那说到我们数据交换啊，在java开发的这个普通场景中，主要指的就是线程和线程之间的数据交换以及呢进程和进程之间的数据交换。我们线程和线程之间是如何做数据交换的，其实呢我们主要是用内存来完成这个操作的。首先我们的java虚拟机当中，每个线程呢其实是有它独立的这个栈内存空间的，每个线程是独立的，那么这两个我们的线程它们是如何交互的呢？

数智管理学（四十八）

chainso23的博客

09-04

789

数据驱动管理理论：数智时代的企业转型核心摘要：数据驱动管理理论已成为数智化时代企业转型的核心支柱。该理论强调通过数据的采集、分析与应用，实现决策科学化、运营高效化和创新持续化。在战略层面，企业利用大数据分析技术精准洞察市场动态、客户需求和竞争环境；在流程优化方面，通过数智化技术实现资源配置优化、生产流程改进和营销策略升级；在创新驱动方面，运用数据挖掘技术识别潜在机会，推动产品服务和商业模式创新。实践表明，数据驱动管理能显著提升企业运营效率（如生产效率提升30%）、降低成本（15%），并创造新的商业价值。这

【Kafka】Kafka使用场景用例&Kafka用例图

最新发布

A-Itfuture的博客

09-05

163

注：以上图片来源于网络，如有不妥请私信删除！

2025 大数据时代值得考的证书排名前八

LRQ2025的博客

09-03

978

HDFS读写机制深度解析：分布式存储的核心奥秘

言不信者行不果，行不敏者言多滞.

09-02

1392

HDFS作为Hadoop生态系统的核心存储组件，通过主从架构实现了海量数据的高效管理。其写入机制采用流水线复制策略，客户端数据经NameNode分配后，在DataNode间形成复制流水线，确保数据可靠性与写入性能的平衡。读取机制基于就近原则和并行处理，通过网络拓扑感知选择最优DataNode，最大化访问效率。系统内置完善的容错机制，包括心跳监控、自动故障转移和数据校验，构建了自愈能力强大的分布式存储平台。HDFS的设计哲学体现了分布式系统中可靠性、性能与成本的最佳权衡，为大数据处理提供了坚实的存储基础。

初识NOSQL

ssjnbnbnb的博客

09-02

805

Oracle NoSQL 数据库简介核心特性横向可扩展的分布式存储专为键值对数据设计，支持大规模数据存储和高并发访问。通过增加硬件资源（如节点）实现性能线性扩展，满足吞吐量需求。高性能与低延迟提供低延迟和高吞吐量的数据读写能力。可预测的数据一致性（取决于存储配置），确保关键业务场景的可靠性。高可用性（HA）设计为高可用架构，减少单点故障风险，支持自动故障转移和数据冗余。灵活的持久性保证支持用户定义的读/写性能级别，提供可调整的持久性策略（如同步/异步写入）。技术架构底层存储引擎基于。

kafka kafka-run-class.sh 查看某个topic的消息数量

08-17

<think>根据用户的问题，他想要使用`kafka-run-class.sh`来查看Kafka中某个topic的消息数量（即总数据量）。在之前的回答中，我已经介绍了两种方法，其中方法一就是使用`kafka-run-class.sh`（实际上是调用`kafka.tools.GetOffsetShell`）来获取每个分区的偏移量，然后求和得到总消息量。用户现在明确要求使用`kafka-run-class.sh`，所以我们将重点放在方法一上。 ### 步骤详解 1. **命令格式**： ```bash bin/kafka-run-class.sh kafka.tools.GetOffsetShell \ --bootstrap-server <broker地址> \ --topic <topic名称> \ --time -1 ``` 2. **参数说明**： - `--bootstrap-server`: Kafka broker的地址，例如`localhost:9092`。 - `--topic`: 要查询的topic名称。 - `--time -1`: 表示获取每个分区的最新偏移量（即当前消息总量）。`-2`则表示获取最早的偏移量（即保留的最旧消息位置）。 3. **输出示例**：假设topic名为`test-topic`，有3个分区，输出可能如下： ``` test-topic:0:100 test-topic:1:150 test-topic:2:200 ``` 每一行格式为：`topic:分区编号:当前偏移量`。 4. **计算总消息量**：使用`awk`命令对输出进行求和： ```bash ... | awk -F ":" '{sum += $3} END {print "总消息量: " sum}' ``` - `-F ":"`：指定分隔符为冒号。 - `{sum += $3}`：将每行的第三列（即偏移量）累加到变量`sum`中。 - `END {print ...}`：处理完所有行后打印总和。 ### 完整命令将上述步骤组合起来，得到完整命令： ```bash bin/kafka-run-class.sh kafka.tools.GetOffsetShell \ --bootstrap-server localhost:9092 \ --topic test-topic \ --time -1 | \ awk -F ":" '{sum += $3} END {print "总消息量: " sum}' ``` ### 注意事项 1. **权限问题**：如果Kafka集群启用了安全认证（如SASL/SSL），需要在命令中添加相应的认证参数。例如，使用`--consumer.config`指定配置文件： ```bash bin/kafka-run-class.sh kafka.tools.GetOffsetShell \ --bootstrap-server localhost:9092 \ --topic test-topic \ --time -1 \ --consumer.config /path/to/client.properties ``` 配置文件`client.properties`中通常包含安全认证信息，例如： ``` security.protocol=SASL_PLAINTEXT sasl.mechanism=PLAIN sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret"; ``` 2. **路径问题**：确保在Kafka的安装目录下执行命令，或者使用绝对路径调用`kafka-run-class.sh`。 3. **环境问题**：如果遇到`java: 未找到`的错误（如引用[4]所述），需要检查并设置`kafka-run-class.sh`中的`JAVA_HOME`。编辑该文件，找到设置`JAVA_HOME`的地方，确保指向正确的JDK安装路径。 4. **偏移量的含义**：偏移量是从0开始计数的，所以分区0的偏移量为100表示有100条消息（偏移量0到99，共100条）。 ### 其他方法用户引用的内容中提到了使用JMX工具（引用[1]）来查看消息入栈速率（`MessageInPerSec`），这是监控消息写入速率的方法，而不是总消息量。所以不适用于当前需求。 ### 相关问题 1. 如何查看Kafka Topic每个分区的消息分布情况？ 2. 如何计算Kafka Topic占用的磁盘空间大小？ 3. 如何监控Kafka Topic的消息写入速率（TPS）？ 4. Kafka中如何查看消费者组的消费进度？</think>### 使用 `kafka-run-class.sh` 查看 Kafka Topic 消息总量 #### 完整操作步骤 1. **执行偏移量查询命令**： ```bash bin/kafka-run-class.sh kafka.tools.GetOffsetShell \ --bootstrap-server <broker地址> \ --topic <topic名称> \ --time -1 ``` - `--bootstrap-server`：Kafka broker地址（如 `localhost:9092`） - `--topic`：目标 topic 名称 - `--time -1`：获取最新偏移量（即当前消息总量）[^3] 2. **计算消息总量**： ```bash # 添加 awk 命令自动求和 ... | awk -F ":" '{sum += $3} END {print "总消息量: " sum}' ``` **完整命令示例**： ```bash bin/kafka-run-class.sh kafka.tools.GetOffsetShell \ --bootstrap-server localhost:9092 \ --topic user_events \ --time -1 | \ awk -F ":" '{sum += $3} END {print "总消息量: " sum}' ``` #### 输出解析假设输出： ``` user_events:0:1500 user_events:1:2300 user_events:2:1800 总消息量: 5600 ``` - 每行格式：`topic:分区编号:最新偏移量` - **总消息量** = 所有分区偏移量之和： $$ \text{总消息量} = \sum_{i=0}^{n-1} \text{Partition}_i\text{的偏移量} $$ 本例：$1500 + 2300 + 1800 = 5600$ 条消息 #### 常见问题解决 1. **Java 未找到错误**（引用[4]）： - 编辑 `kafka-run-class.sh` 文件： ```bash vim bin/kafka-run-class.sh ``` - 修改 `JAVA_HOME` 路径为实际 JDK 安装路径： ```bash # 查找并修改类似行 export JAVA_HOME=/usr/lib/jvm/java-11-openjdk # 改为你的JDK路径 ``` 2. **安全集群认证**（SASL/SSL）： ```bash bin/kafka-run-class.sh kafka.tools.GetOffsetShell \ --bootstrap-server secure-broker:9093 \ --topic secured_topic \ --time -1 \ --command-config /path/to/client.properties # 包含认证信息的配置文件 ``` #### 注意事项 1. **偏移量本质**：偏移量从 0 开始计数，分区消息量 = 最新偏移量值 2. **实时性**：结果反映命令执行时刻的快照，非持续监控[^1] 3. **分区影响**：增加分区会导致总量计算波动（需重新分配数据） > 📌 提示：生产环境建议结合监控工具（如 Kafka Manager）实现持续跟踪[^1]。 --- ### 相关问题 1. 如何查看 Kafka Topic 每个分区的消息分布详情？ 2. Kafka 中如何计算消息的实际存储大小（GB/MB）？ 3. 如何监控 Kafka Topic 的实时消息写入速率？ 4. Kafka 消息保留策略如何影响数据量统计结果？