Kafka - Topic命令 & 命令行操作

Kafka实战
已于 2023-08-01 09:39:28 修改
阅读量7.6k 收藏 13
点赞数 5
CC 4.0 BY-SA版权
分类专栏： Zookeeper Kafka 文章标签： zookeeper kafka 分布式
于 2022-10-13 19:19:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Trollz/article/details/127286389
本文介绍Kafka的基本操作命令，包括主题管理、生产者及消费者的消息发送与接收等关键步骤。通过实例演示如何创建主题、调整分区数量、发送消息及消费数据。

目录

零、前置

一、Topic命令

查看当前服务器中的所有 topic

创建 first topic

查看 first 主题的详情

修改分区数量

删除 topic

二、生产者命令行操作

发送消息

三、消费者命令行操作

消费 first 主题中的数据

零、前置

Kafka集群的搭建：Kafka + Zookeeper + Hadoop 集群配置

一、Topic命令

参数功能
--bootstrap-server连接的 Kafka Broker 主机名称和端口号
--topic操作的 topic 名称
--create创建主题
--delete删除主题
--alter修改主题
--list查看所有主题
--describe查看主题详细描述
--partitions设置分区数
--replication-factor设置分区副本
--config更新系统默认的配置

查看当前服务器中的所有 topic

注意位置：

cd /opt/module/kafka

bin/kafka-topics.sh --bootstrap-server test1:9092 --list

因为咱们还没有创建主题，所以这里是空着的。

创建 first topic

bin/kafka-topics.sh --bootstrap-server test1:9092 --create --partitions 1 --replication-factor 3 --topic first

选项说明：

--topic 定义 topic 名

--replication-factor 定义副本数

--partitions 定义分区数

查看 first 主题的详情

bin/kafka-topics.sh --bootstrap-server test1:9092 --describe --topic first

修改分区数量

注：分区数只能增加不能减少

bin/kafka-topics.sh --bootstrap-server test1:9092 --alter --topic first --partitions 3

减少时则会报错：

删除 topic

bin/kafka-topics.sh --bootstrap-server test1:9092 --delete --topic first

二、生产者命令行操作

参数描述
--bootstrap-server连接的 Kafka Broker 主机名称和端口号
--topic操作的 topic 名称

发送消息

bin/kafka-console-producer.sh --bootstrap-server test1:9092 --topic first

三、消费者命令行操作

参数描述
--bootstrap-server连接的 Kafka Broker 主机名称和端口号
--topic操作的 topic 名称
--from-beginning从头开始消费
--group指定消费者组名称

消费 first 主题中的数据

bin/kafka-console-consumer.sh --bootstrap-server test1:9092 --topic first

 可以看到这里消费不到咱们之前发的 hello world ，如果想要查看之间生产的数据需要加上 --from-beginning 。

bin/kafka-console-consumer.sh --bootstrap-server test1:9092 --from-beginning --topic first

加上重新进入后即可消费到之前的数据。

【Kafka】查看kafka的topic数据
m0_54252387的博客
07-05 1万+
启动kafka： 查看已创建的topic列表：./kafka-topics.sh --list --zookeeper localhost:2181查看对应topic的描述信息： 消费消息：
【项目实战】Kafka中Topic创建介绍
本本本添哥
03-30 8460
Topic可以看作是一个消息队列生产者将消息发送到Topic中，消费者从Topic中消费消息。
查看 Kafka KRaft 模式下的所有 Topic 数据
qq_48740132的博客
07-11 364
在 Kafka KRaft (Kafka Raft Metadata) 模式下，查看所有 Topic 数据的方法与传统 ZooKeeper 模式类似，但需要注意一些配置差异。
kafka如何获取 topic 主题的列表？
java1234的博客
11-01 1794
kafka如何获取 topic 主题的列表？
【Kafka】KafkaTopic命令-03
Blue_Pepsi_Cola的博客
04-21 1289
【代码】【Kafka】KafkaTopic命令。
kafka启动命令、查看topic命令、查看消息内容命令
fan504的专栏
03-04 2183
server.properties的listeners改为listeners=PLAINTEXT://192.168.1.32:9092。
【Kafka-Shell命令中zookeeper与boostrap server参数】Kafka-Shell命令中--zookeeper与--boostrap-server参数的区别
weixin_53543905的博客
04-12 314
旧版用 --zookeeper 参数，主机名（或IP）和端口用 ZooKeeper 的2181，也就是 server.properties 文件中 zookeeper.connect 属性的配置值.新版用 --bootstrap-server 参数，主机名（或IP）和端口用某个节点的即可，即主机名（或主机IP）:9092。ps：使用 --zookeeper 参数还需要指定 kafka 的 Broker 路径，注意不是在根目录下，是在 /kafka 路径下。是旧版 Kafka 的参数（v2.8以前）
kafka的基本操作（命令行操作）
qq_55906442的博客
12-07 8522
目录 一：准备 二：kafka的基本操作（命令行操作） 一：准备 1.安装kafka 操作：kafka单机和集群（全分布）的安装部署过程_一个人的牛牛的博客-优快云博客 2.安装zookeeper 操作：zookeeper单机和集群（全分布）的安装过程_一个人的牛牛的博客-优快云博客 3.启动zookeeper 在zookeeper目录下执行： bin/zkServer.sh start 如果是集群每一台都需要执行启动命令！！ 验证：jps看到QuorumPeerMai..
kafka-2.12-3.6.1.tgz
12-19
/usr/local/kafka_2.12-3.6.1/bin/kafka-topics.sh --create --topic my-topic --partitions 3 --replication-factor 2 --if-not-exists --zookeeper localhost:2181 ``` 七、生产消息 创建一个简单的消息生产者，...
Kafka实战记录（2）-命令行操作
01-07
# 启动kafka kafka-server-start.sh [-daemon] server.properties [--override property=value]* # -daemon 是否以守护进程开启 # --override property=value 覆盖配置值，属性property改为value [root@node1 kafka-...
【Kafka基础】-- topic 常用管理命令汇总
欢迎来到我的博客，一起探索代码里的世界！
08-11 891
1、环境 Kafka 版本：2.2.1-cdh6.3.0 Java 版本： oracle jdk 1.8 2、常用命令 2.1、查看Kafka 版本 $ kafka-topics --version 2.2、创建 topics $ kafka-topics --create --bootstrap-server ky-node1:9092 --replication-factor 1 --partitions 1 2.3、描述 topics $ kafka-topics --d..
Kafka中的Topic
日常分享数据分析开发、编程语言内容
12-05 9108
在Kafka中，Topic是消息的逻辑通道，生产者将消息发布到Topic，而消费者从Topic订阅消息。每个Topic可以有多个分区（Partitions），每个分区可以在不同的服务器上，以实现横向扩展。Kafka的Topic是构建实时流数据处理系统的核心组件之一。通过深入了解Topic的创建、配置、生产者和消费者，以及实际应用中的示例代码，可以更好地理解和应用Kafka。在实际项目中，根据具体需求和场景进行灵活配置，以确保系统的可靠性、性能和安全性。
Kafka系列：查看Topic列表、消息消费情况、模拟生产者消费者
热门推荐
YJ000312的博客
03-29 4万+
这条命令其实并不执行删除动作，仅仅是在zookeeper上标记该topic要被删除而已，同时也提醒用户一定要提前打开delete.topic.enable开关，否则删除动作是不会执行的。a）在server.properties中设置delete.topic.enable参数为ture。3.执行删除命令：rmr /brokers/topics/test。2.找到topic所在目录：ls /brokers/topics。执行topic删除命令时，出现提示。
Kafka中shell命令使用（创建、查看、修改和删除Topic，模拟创建生产者和消费者）
IT之一小佬的博客
10-19 7121
Kafka中shell命令使用（创建、查看、修改和删除Topic，模拟创建生产者和消费者）
查看kafka的topic列表
gavinoldmen的专栏
08-16 1318
4.将一个多分区的topic改为1个（会进行错误提示）3.修改topic的分区数（分区数只能增加不能减少）1.查看topic列表。2.查看指定topic。5.删除某个topic。
kafka2.x常用命令：创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费
朱季谦
11-26 5672
kafka2.x常用创建topic，查看topic列表、分区、副本详情，删除topic，测试topic发送与消费指令
Kafka查看Topic和消息内容命令
DeoSql的博客
09-17 8422
以上是使用Kafka命令行工具查看Topic和消息内容的方法。通过这些命令，我们可以方便地获取Kafka集群中的Topic列表、Topic的详细信息以及消息的内容。在使用Kafka时，我们经常需要查看已创建的Topic以及Topic中的消息内容。执行上述命令后，将会显示出Kafka中所有的Topic名称。执行上述命令后，将会实时输出该Topic中的消息内容。是要查看的Topic的名称。是自定义的消费者组名称。通过指定消费者组，可以实现消息的多播和消息偏移的管理。是要查看的Topic的名称。
kafka常用查看主题，消费数据的排查命令[重要!!!]
健康平安的活着的专栏
11-04 7571
1.命令如下：bin/kafka-topics.sh --list --zookeeper 10.239.192.1822.截图如下：1.使用的命令bin/kafka-consumer-groups.sh --bootstrap-server 10.239.192.182:9092 --list2.截图如下：1.使用命令 bin/kafka-consumer-groups.sh --bootstrap-server 10.239.192.182:9092 --describe --group cloudi
Kafka如何查看topic的数据
喝醉酒的小白
06-10 2681
Kafka如何查看topic的数据
kafka-console-consumer.sh集群命令
最新发布
08-15
<think>我们正在讨论Kafka命令行工具中的消费者控制台脚本，特别是在集群环境下的使用。 用户需要了解kafka-console-consumer.sh在集群环境下的使用方式，包括命令示例。 首先，我们需要明确kafka-console-consumer.sh的基本用法，然后扩展到集群环境。 在集群环境中，我们通常会指定bootstrap-server参数，该参数可以指定集群中的一个或多个broker（通常我们会提供多个以提供容错）。 基本语法： bin/kafka-console-consumer.sh --bootstrap-server <broker_list> --topic <topic_name> [其他选项] 其中： --bootstrap-server：指定Kafka集群的broker地址，多个用逗号分隔，例如：broker1:9092,broker2:9092,broker3:9092 --topic：指定要消费的主题 其他常用选项： --from-beginning：从最早的消息开始消费，如果不指定则从最新的消息开始。 --group <group_id>：指定消费者组，如果不指定则会生成一个随机的消费者组。 --partition <partition_id>：指定消费的分区（注意：如果指定了分区，则不能使用消费者组功能，且不能同时指定多个分区） --property：设置一些属性，例如打印key（print.key=true）、打印时间戳（print.timestamp=true）等。 在集群环境下，我们通常使用--bootstrap-server来连接集群，集群会自动处理分区和副本的位置。 示例1：消费单个主题 bin/kafka-console-consumer.sh --bootstrap-server broker1:9092,broker2:9092,broker3:9092 --topic test-topic 示例2：从开始位置消费 bin/kafka-console-consumer.sh --bootstrap-server broker1:9092,broker2:9092,broker3:9092 --topic test-topic --from-beginning 示例3：指定消费者组 bin/kafka-console-consumer.sh --bootstrap-server broker1:9092,broker2:9092,broker3:9092 --topic test-topic --group my-group 示例4：打印key和value（默认只打印value） bin/kafka-console-consumer.sh --bootstrap-server broker1:9092,broker2:9092,broker3:9092 --topic test-topic \ --property print.key=true --property key.separator=":" 示例5：消费特定分区（注意：此时不能使用--group，因为分区指定和消费者组互斥） bin/kafka-console-consumer.sh --bootstrap-server broker1:9092,broker2:9092,broker3:9092 --topic test-topic --partition 0 示例6：使用消息过滤器（例如，只消费key不为空的消息）？注意：控制台消费者本身不提供复杂的过滤功能，但可以通过属性配置有限过滤，或者使用其他工具如kafka-filter。控制台消费者通常用于简单测试，复杂过滤建议使用API。 不过，我们可以通过--property来设置一些过滤，但原生的控制台消费者不支持SQL那样的过滤。如果需要过滤，可能需要使用kafka-console-consumer配合grep等命令行工具，但这可能不是可靠的方式（因为消息是二进制的，而grep是文本的）。 另外，在集群环境下，我们还可以使用--consumer.config指定配置文件，配置文件里可以设置更多的属性，比如安全认证等。 示例7：使用SSL认证 首先，创建一个配置文件consumer.properties，内容如下： security.protocol=SSL ssl.truststore.location=/path/to/truststore.jks ssl.truststore.password=password ssl.keystore.location=/path/to/keystore.jks ssl.keystore.password=password ssl.key.password=password 然后运行： bin/kafka-console-consumer.sh --bootstrap-server broker1:9092,broker2:9092,broker3:9092 --topic test-topic \ --consumer.config consumer.properties 注意：在集群环境下，确保bootstrap-server参数中的地址和端口是可达的，并且防火墙设置允许访问。 另外，如果集群启用了SASL认证，则需要在配置文件中配置相应的认证信息。 示例8：使用SASL/PLAIN认证 配置文件内容： security.protocol=SASL_PLAINTEXT sasl.mechanism=PLAIN sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret"; 然后同样使用--consumer.config指定。 重要提示：在实际生产环境中，不建议使用控制台消费者进行大量数据的消费，因为它仅用于测试和调试。 最后，我们总结一下在集群环境下使用kafka-console-consumer.sh的关键点： 1. 使用--bootstrap-server指定集群的多个broker地址。 2. 根据需求选择是否从开始消费（--from-beginning）或指定消费者组（--group）。 3. 需要安全认证时，通过配置文件设置安全属性。 以上是基本的使用方式和示例，用户可以根据实际集群配置进行调整。 现在，根据指令，我们需要生成相关问题。</think>### Kafka控制台消费者在集群环境下的使用指南 在Kafka集群环境下使用`kafka-console-consumer.sh`命令时，需通过`--bootstrap-server`参数指定集群节点地址，使消费者能够发现集群中的所有broker。以下是详细使用方式： #### 基础命令格式 ```bash bin/kafka-console-consumer.sh \ --bootstrap-server <broker1:port>,<broker2:port>,<broker3:port> \ --topic <topic_name> \ [其他参数] ``` #### 关键参数说明 1. **`--bootstrap-server`**（必需） 指定集群中至少2个broker地址（建议3个），多个地址用逗号分隔： ```bash --bootstrap-server kafka-node1:9092,kafka-node2:9092,kafka-node3:9092 ``` 2. **`--topic`**（必需） 指定消费的目标主题： ```bash --topic user_activity_logs ``` 3. **`--group`**（推荐） 指定消费者组实现负载均衡： ```bash --group cluster_consumer_group ``` 4. **`--from-beginning`** 从分区最早偏移量开始消费（默认从最新位置）： ```bash --from-beginning ``` #### 集群环境示例 1. **基础消费**（从最新消息开始） ```bash bin/kafka-console-consumer.sh \ --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 \ --topic sensor_data ``` 2. **全量消费**（读取所有历史消息） ```bash bin/kafka-console-consumer.sh \ --bootstrap-server kafka1:9092,kafka2:9092 \ --topic audit_logs \ --from-beginning ``` 3. **消费者组消费** ```bash bin/kafka-console-consumer.sh \ --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 \ --topic payment_events \ --group fraud_detection_group ``` 4. **带消息键消费**（显示消息Key） ```bash bin/kafka-console-consumer.sh \ --bootstrap-server kafka1:9092,kafka2:9092 \ --topic device_status \ --property print.key=true \ --property key.separator=":" ``` 5. **安全集群消费**（启用SASL认证） ```bash bin/kafka-console-consumer.sh \ --bootstrap-server kafka1:9092,kafka2:9092 \ --topic secure_logs \ --consumer.config client.properties ``` `client.properties` 文件内容： ```properties security.protocol=SASL_SSL sasl.mechanism=SCRAM-SHA-256 sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \ username="admin" \ password="secret"; ``` #### 注意事项 1. **高可用保障** 始终配置至少2个bootstrap broker地址，防止单点故障导致消费者无法连接集群[^1]。 2. **网络可达性** 确保运行消费者的机器能访问所有broker的IP和端口（默认9092）。 3. **消费者组管理** 使用`--group`时，相同组ID的消费者会自动平衡分区分配。查看组状态： ```bash bin/kafka-consumer-groups.sh --bootstrap-server kafka1:9092 --list ``` 4. **性能限制** 控制台消费者仅适用于调试和小数据量场景，生产环境应使用API消费者[^2]。 #### 常见问题排查 - **连接失败**：检查防火墙设置和DNS解析 - **无消息消费**：确认主题存在且已发送数据，检查`--from-beginning`使用 - **认证失败**：验证`client.properties`中的凭证和协议类型 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

现在作诗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值