Kafka命令行：生产与消费数据、查看与修改偏移量、修改数据保留时间

最新推荐文章于 2025-09-09 18:10:51 发布
最新推荐文章于 2025-09-09 18:10:51 发布
阅读量937 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： kafka 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LmzActionscript/article/details/133065691
kafka 专栏收录该内容
83 篇文章 ¥59.90 ¥99.00
订阅专栏
本文详细介绍了如何使用Kafka命令行工具进行数据生产与消费，查看与修改偏移量，以及调整数据保留时间。通过kafka-console-producer.sh创建生产者，kafka-console-consumer.sh创建消费者，kafka-consumer-groups.sh查看和修改偏移量，以及kafka-topics.sh修改数据保留时间，从而有效地管理Kafka流处理应用。

Kafka是一个分布式流处理平台，具有高吞吐量、高可靠性和可伸缩性的特点。在Kafka中，我们可以使用命令行工具来执行一些常见的操作，如生产和消费数据、查看和修改偏移量，以及修改数据保留时间。本文将详细介绍如何使用Kafka命令行工具进行这些操作，并提供相应的源代码示例。

  1. 生产数据

在Kafka中，生产者负责将消息发布到指定的主题（Topic）。我们可以使用kafka-console-producer.sh脚本来创建一个生产者，并将消息发送到指定的主题。

kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic

上述命令将创建一个生产者，并连接到本地的Kafka代理（broker）上。然后，您可以在控制台输入消息，并按Enter键发送消息到名为"my_topic"的主题。

  1. 消费数据

消费者负责从Kafka主题中读取消息。我们可以使用kafka-console-consumer.sh脚本来创建一个消费者，并从指定的主题中接收消息。

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic
了解本专栏 订阅专栏 解锁全文
【Kafka】Kafka 修改某个消费组的偏移量
九师兄
10-22 2709
1.概述 有这么一种情况，假设你的flink任务在运行中，但是，因为某一个时刻，日志突然暴增，但是你的数据又不是特别重要的，比如日志数据，但是你的分析结果又需要实时性，此时可以丢弃一些数据，让数据保持实时，但是最好是flink任务不重启，该怎么做呢？ 2.查看消费组 查看有那些消费者group # 0.8版本及以下的的kafka 使用如下命令查看有那些消费者group ./kafka-consumer-groups.sh --zookeeper localhost:2181 --list # 0.9版本.
使用Kafka查询消费数据
DeoSql的博客
09-21 1690
在Kafka中，消息通过主题（Topic）进行发布和订阅，而消费者（Consumer）可以从主题中读取消息并进行处理。上述代码中，我们首先配置了Kafka消费者的属性，包括Kafka集群地址、消费者组ID以及键和值的反序列化器。然后，我们创建了一个Kafka消费者对象，并订阅了名为"test-topic"的主题。通过以上代码，你可以轻松地编写一个Kafka消费者，并从指定的主题中获取消息进行处理。如有任何疑问，请随时提问。例如，你可以订阅多个主题、设置不同的消费者属性以及实现自定义的消息处理逻辑。
【kafka】服务器命令行查询kafka信息消费情况
好学的小师弟的博客；华为云社区月度积极博主
06-14 1万+
kafka-tool出问题的情况下，可以用命令行来查看kafka信息
Kafka数据保存时间
weixin_38011805的博客
09-06 5397
对所有topic起作用 log.retention.hours=72 log.cleanup.policy=delete 对指定topic起作用 ./kafka-config.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity_type topics --add-config retention.ms=86400000 手动删除指定topic的过期数据 ./kafka-topic.sh --zo.
「Kafka」Kafka生产数据和消费数据（三）
技术路上的探险家
04-25 2714
把当前的DOS窗口当成Kafka的客户端，那么进行操作前，就需要连接服务器，这里的参数就表示服务器的连接方式，因为我们在本机启动Kafka服务进程，且Kafka默认端口为9092，所以此处，后面接的参数值为localhost:9092，用空格隔开。把当前的DOS窗口当成Kafka的客户端，那么进行操作前，就需要连接服务器，这里的参数就表示服务器的连接方式，因为我们在本机启动Kafka服务进程，且Kafka默认端口为9092，所以此处，后面接的参数值为localhost:9092，用空格隔开。
kafka—offset偏移量
weixin_44604159的博客
11-06 2825
1.offset基本概念 2.offset的提交 3.消费者优化
Kafka消费者
金州饿霸吃不饱的博客
01-15 1626
可以理解为分配的结果带有“粘性的”。即在执行一次新的分配之前，考虑上一次分配的结果，尽量少的调整分配的变动，可以节省大量的开销。粘性分区是Kafka从0.11.x版本开始引入这种分配策略，首先会尽量均衡的放置分区到消费者上面，在出现同一消费者组内消费者出现问题的时候，会尽量保持原有分配的分区不变化。1）需求设置主题为first，7个分区；准备3个消费者，采用粘性分区策略，并进行消费，观察消费分配情况。然后再停止其中一个消费者，再次观察消费分配情况。2）步骤（1）修改分区分配策略为粘性。
Elasticsearch 与 Kafka 结合：大数据实时搜索架构
最新发布
AI架构全栈开发实战笔记
09-09 800
电商用户搜索商品时，希望看到刚更新的库存状态；运维人员监控服务器时，需要秒级看到最新的错误日志；社交平台用户刷新动态时，期待立即看到好友刚发布的内容。传统数据库（如 MySQL）在面对海量数据的实时写入与复杂查询时，性能会急剧下降；而 Elasticsearch 虽擅长搜索，但直接处理高并发实时数据流（如每秒10万条的商品变更）时，可能因写入压力导致延迟。此时，Kafka 作为"数据缓冲带"的价值就凸显了——它能高效接收海量实时数据，并按顺序分发给 Elasticsearch 处理。
Kafka-架构、命令行、生产消费数据、保存机制、拦截器、kafka Streams
修行的博客
08-30 1810
Kafka 一、消息队列 普通消息传递，由A传递给B，容意发生的问题： ​ 接收端B挂掉，发送端A不知，继续发送数据 ​ 发送端A的发送数据速度和接收端B速度必须保持一致 1 消息队列模式 添加消息队列后，A发送数据给消息队列，由消息队列选择发送模式发送给B 发送模式主要有2种： ​ 点对点模式，一对一，由接收端主动拉取 ​ 由接收端B去开启一个实时监控消息队列的线程，来查看消息队列是否有数据...
kafka查看消费情况
jockha的博客
07-01 5115
kafka消费情况
Kafka系列：查看Topic列表、消息消费情况、模拟生产者消费者
YJ000312的博客
03-29 4万+
这条命令其实并不执行删除动作，仅仅是在zookeeper上标记该topic要被删除而已，同时也提醒用户一定要提前打开delete.topic.enable开关，否则删除动作是不会执行的。a）在server.properties中设置delete.topic.enable参数为ture。3.执行删除命令：rmr /brokers/topics/test。2.找到topic所在目录：ls /brokers/topics。执行topic删除命令时，出现提示。
查看kafka消息消费情况
max_hello的博客
01-28 4321
查看主题命令 展示topic列表 ./kafka-topics.sh --list --zookeeper 172.18.153.12:2188 描述topic ./kafka-topics.sh --describe --zookeeper 172.18.153.12:2188 --topic test 查看topic某分区偏移量最大（小）值 ./kafka-run-class.sh kafka.tools.GetOffsetShell --topic test --time -1 --bro
kafka 命令行 生产消费数据，查看偏移量，修改偏移量，修改数据保留时间
ispringmw的博客
09-27 2万+
kafka 命令行 创建topic 查看topic详情 生产消费数据，查看偏移量，修改分区偏移量（多方法），修改分区数量 1.知识点 1）Topic相关：创建Topic、删除Topic、查看Topic列表、查看Topic详细信息 2）生产者相关：往某个Topic中生产数据 3）消费者相关：从某个Topic中消费数据 4）消费组（group）相关：查看消费者group、查看消费者消费情况（消费至那个offset/积压数据量多少） 5）修改topic下某个消费者（groupid）所有分区或某个分区的offse
Kafka 根据 时间段查询消费数据
weixin_43877044的博客
05-24 853
在自定义kafka查询时（配合seek使用），需用kafkaConsumer.assign，而不是kafkaConsumer.subscribe。
Kafka指令重置偏移量
baidu_27503999的博客
02-03 1798
kafka 重置偏移量
kafka监控命令kafka-run-class.sh查看消费了多少条数据
热门推荐
小强签名设计 的博客
06-28 4万+
kafka自带了很多工具类，在源码kafka.tools里可以看到： 源码包下载地址：http://archive.apache.org/dist/kafka/ 这些类该如何使用呢，kafka的设计者早就为我们考虑到了，在${KAFKA_HOME}/bin下，有很多的脚本，其中有一个kafka-run-class.sh，通过这个脚本，可以调用其中的tools的部分功能，如调用kafk...
kafka 命令行 生产消费数据，查看偏移量，修改偏移量
Mickle_zhang的专栏
01-12 3510
1、Topic相关：创建Topic、删除Topic、查看Topic详细信息、查看Topic列表、修改topic分区数创建Topic 创建一个3分区1副本名为test的topic，必须指定分区数 --partitions 和副本数--replication-factor，其中副本数量不能超过kafka节点（broker）数量 ./kafka-topics.sh --zookeeper localhost:2181 --topic test --partitions 3 --replication-fac
【查看Kafka存储日志时间】
weixin_46356409的博客
08-02 1587
通过查看Kafka的配置文件，你可以了解Kafka broker的默认配置参数，包括消息保留时间和存储大小等。根据需要，你可以修改这些参数来调整Kafka的行为。如果你需要对特定的Topic进行配置，可以使用命令显式设置这些参数，这样在描述信息中就会显示这些参数。要查看Kafka Topic的配置参数，你可以使用命令的--describe选项。这个命令会显示Topic的基本信息，包括分区、副本等，但不会直接显示所有的配置参数。要查看特定的配置参数，你需要使用命令。使用。
kafka更改groupid 重新消费当前数据
05-24
3. 在 Kafka 中删除消费者组 ID，这样 Kafka 就不会将以前已经消费过的数据保留在消费者组的偏移量中。可以使用 Kafka 命令行工具 `kafka-consumer-groups` 删除消费者组。例如，要删除消费者组 `my-group`，可以...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值