kafka使用kafka-console-consumer.sh和kafka-console-producer.sh生产消费数据样例

最新推荐文章于 2025-11-26 10:38:43 发布

原创

最新推荐文章于 2025-11-26 10:38:43 发布 · 7.2k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #consumer #producer #脚本 #shell

本文介绍如何使用kafka-console-producer.sh生产无key与有key的消息，以及使用kafka-console-consumer.sh消费消息的方法。包括不同版本的配置区别，如从zookeeper到bootstrap-server的变更。

kafka-console-producer.sh生产无key消息

进入到kafka的bin目录下：执行以下脚本：

./kafka-console-producer.sh --broker-list List<host:port> --topic topicName

在下面的console中输入value后点击enter键即完成数据的生产

kafka-console-producer.sh生产有key消息

进入到kafka的bin目录下：执行以下脚本：

./kafka-console-producer.sh --broker-list List<host:port> --topic topicName --property parse.key=true

默认消息key与消息value间使用“Tab键”进行分隔，所以消息key以及value中切勿使用转义字符(\t)

kafkaKey    kafkaValue

如上图所示，kafkaKey为消息key，kafkaValue为消息value，输入之后点击enter键即完成数据的生产

kafka-console-consumer.sh消费消息后不输出key

进入到kafka的bin目录下：执行以下脚本：(注：0.11之前配置的是--zookeeper，0.11后变成了--bootstrap-server)

./kafka-console-consumer.sh --zookeeper(bootstrap-server) List<host:port> --from-

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

梦回从前

关注关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Kafka】kafka命令kafka-console-consumer.sh

九师兄

12-13

5768

1.概述 kafka-console-consumer.sh 脚本是一个简易的消费者控制台。该 shell 脚本的功能通过调用 kafka.tools 包下的 ConsoleConsumer 类，并将提供的命令行参数全部传给该类实现。注意：Kafka 从 2.2 版本开始将 kafka-topic.sh 脚本中的 −−zookeeper 参数标注为 “过时”，推荐使用 −−bootstrap-server 参数。若读者依旧使用的是 2.1 及以下版本，请将下述的 --bootstrap-server .

【Kafka】kafka命令 kafka-console-producer

九师兄

03-21

2334

文章目录1.概述2.输入单挑数据3.批量导入数据3.无key型消息4.有key型消息 1.概述消费者：【Kafka】kafka命令kafka-console-consumer.sh kafka-console-producer 命令的常用参数如下参数值类型说明有效值--bootstrap-serverString要连接的服务器必需(除非指定--broker-list)形如：host1:prot1,host2:prot2--topicString(必需)接收消息的主题名称--broker-listStr

参与评论您还未登录，请先登录后发表或查看评论

Kafka常用命令之kafka-console-producer.sh

Ernest

05-04

5万+

kafka-console-producer.sh 脚本通过调用 kafka.tools.ConsoleProducer 类加载命令行参数的方式，在控制台生产消息的脚本。本文是基于 Kafka_2.12-2.5.0 版本编写的，--bootstrap-server 参数于此版本开始被使用，而 --broker-list 也是在此版本开始被置为过时，但其属性值依旧保持不变。在使用较旧版本时，注意...

kafka-console-producer.sh

weixin_38424594的博客

08-08

1304

主要是归纳kafka-console-producer.sh 的命令参数中文解释

【TCP\UDP与可靠传输】可靠传输怎么保证？序列号、确认、超时重传

热门推荐

Ernest

04-06

13万+

kafka-console-consumer.sh 脚本是一个简单的控制台 Consumer。此脚本的功能通过调用 ConsoleConsumer 实现。

kafka的kafka-console-consumer.sh和kafka-console-producer.sh如何使用

weixin_43940494的博客

02-11

868

本文聚焦于 Kafka 的 kafka - console - consumer.sh 和 kafka - consumer - perf - test.sh 两款消费者工具。先对比其功能用途、参数设置与输出结果，前者用于简单消息消费查看，参数简洁、输出消息内容；后者专注性能测试，参数丰富、输出性能指标。接着阐述使用 SCRAM - ACL 认证连接 Kafka 集群的方法，包括集群端开启认证、创建用户与配置密码、设置 ACL 策略，以及两款工具在连接时的具体配置

kafka-console-consumer.sh和kafka-consumer.sh有什么区别

weixin_46356409的博客

08-02

1171

用于从Kafka Topic中消费消息并将其输出到控制台，适用于调试和测试。：用于运行自定义的消费者应用程序，适用于实现复杂的消费逻辑。在大多数情况下，如果你只是想快速查看Kafka Topic中的消息内容，是更方便的选择。如果你需要运行一个自定义的消费者应用程序，则是更合适的工具。和是Kafka中两个不同的命令行工具，它们的用途和功能有所不同。以下是它们的主要区别：这条命令用于使用Kafka的命令行工具来消费一个名为eve的Topic中的消息。这条命令使用工具从名为eve。

kafka-console-consumer.sh使用2次grep管道无法提取消息

gaofeng的博客

03-18

2983

问题在使用kafka自带脚本消费时，想用grep关键词过滤出来想要的信息 ./kafka-console-consumer.sh \ --bootstrap-server node1:9092,node2:9092,node3:9092 \ --topic test \ --from-beginning \ --consumer-property group.id=gaofeng_test\ | grep "b786aba6f3a6" | grep 388aabd 但是发现grep命令在这里有问题，

Kafka~kafka-console-consumer.sh

feizuiku0116的博客

05-25

1830

1.参数 |参数|描述| |–bootstrap-server|连接的Kafka Broker主机名称和端口号| |–topic|操作的topic名称| |–from-beginning|从头开始消费| |–group|指定消费者组名称| 2.实例消费first主题中的数据 bin/kafka-console-consumer.sh \ --bootstrap-server node1:9092 \ --topic first 把主题中所有的数据都读取出来（包括历史数据） bin/kafka-c

kafka-console-producer.sh kafka-console-consumer.sh

qq 117791303

04-12

670

[root@node-zwf ~]# su kafka [kafka@node-zwf root]$ cd /home/kafka/kafka_2.13-2.6.0/ [kafka@node-zwf kafka_2.13-2.6.0]$ bin/kafka-console-producer.sh --broker-list node-zwf:9092 --topic fx-topic > > > > > > [root@...

kafka操作命令-生产者基本操作

Dobyi的博客

04-24

1万+

kafka操作命令-生产者基本操作

关于kafka-console-consumer.sh消费者的一些思考

weixin_43423377的博客

04-14

2936

(人物设定初步了解kafka的我) 我司现在有三台kafka服务器作为一个集群需求是我写了一个监听器去监听活动失败的情况,如果活动失败则调用一个统计接口做数据统计我需要从失败事件的随路数据中取一些数据,做一些判断. 现在我想从集群中看一下失败事件中的随路数据是否完整正确于是,我xshell连接上了三台服务器并且运行以下命令 ./kafka-console-consumer.sh --bootstrap-server broker1IP:9092 --topic topicnam..

修改源码使kafka-console-consumer.sh支持从指定时间开始消费

CarbonDioxide12138的博客

06-29

3202

目录背景解决方案方案1-用Java新开发一个的消费工具方案2-修改kafka源码，利用kafka-console-consumer.sh方案2-flinkSQL 或 kafka SQL环境准备修改代码打包测试背景有业务方向我们提出，自从我们给kafka集群启用权限和认证之后，他们在排错过程就十分不方便了，以前他们换一个消费组就可以重新消费数据了，现在每换一个消费组都需要重新由我们给他们授权，碰到有时不在工位的时候，就只能干着急了；第二，我们kafka

Kafka 根据指定时间消费数据

极客编程的专栏

09-06

9019

背景在kafka的实际应用过程中，由于数据处理问题，需要对kafka中的数据进行重新消费。重新消费数据一般都是使用一个新的groupId，但默认的配置是earliest(当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费 ),latest (当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据 ).如果Kafka保存的数据量较小，通过earliest方式影响也不会太大，但当数据量比较大时，.

kafka consumer指定时间戳消费

weixin_38251332的博客

09-03

2231

通过指定的时间戳来获取offset，从此offset来消费数据 public List<ConsumerRecordDtoNew> consumerByTimestamp(long timestamp) { //=========================== //时间戳设置 // Map<TopicPartition, OffsetAndMetadata> offset = new HashMap<>();

Kafka消费

qq_41568648的博客

02-28

183

kafka的常见命令汇总

kafka-console-producer.sh可以发送消息到topic，但是kafka-console-consumer.sh消费不到消息

05-22

2. 确认producer发送到正确的topic，可以使用命令`kafka-console-consumer.sh --bootstrap-server <kafka_host:port> --topic <topic_name> --from-beginning`尝试消费消息。 3. 确认consumer连接的kafka集群是否...