Kafka的终极UI工具丨Offset Explorer功能简介

Offset Explorer(以前称为Kafka Tool)是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI,允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。

一些关键功能包括:

1、快速查看所有Kafka集群,包括它们的代理、主题和消费者

2、查看分区中的消息内容并添加新消息

3、查看消费者的偏移量,包括Apache Storm Kafka spout消费者

4、以漂亮的打印格式显示JSON、XML和Avro消息

5、添加和删除主题以及其他管理功能

6、将分区中的单个消息保存到本地硬盘驱动器

7、编写您自己的插件,允许您查看自定义数据格式

8、Offset Explorer在Windows、Linux和Mac OS上运行

产品特征

01、Kafka浏览器

Offset Explorer中的浏览器树允许您通过单击几下鼠标来查看和导航Apache Kafka ®集群中的对象——代理、主题、分区、消费者。与您的Kafka集群的连接是持久的,因此您无需每次都记住或输入它们。无论您拥有多少集群,您都可以快速查看有关所有集群的信息。

02、查看消息

您可以快速查看主题分区中的消息及其键。您可以选择一次查看多少条消息以及从中读取消息的偏移量。您可以查看最旧或最新的消息,也可以指定从何处开始读取消息的起始偏移量。

默认情况下,Offset Explorer将以十六进制格式显示您的消息和密钥。但是,如果您的消息是UTF-8编码的字符串,Offset Explorer可以显示实际的字符串,而不是常规的十六进制格式。

03、以JSON/XML格式查看文本数据

如果您的基于字符串的数据是 JSON 或 XML 格式,您可以在分区下的数据选项卡的详细信息面板中以漂亮的打印形式查看它。

04、查看消费者偏移量

浏览器树允许您快速查看 Kafka 消费者的所有偏移量。该列表将显示分区的开始/结束偏移量以及每个分区内消费者的偏移量。

05、保存单个消息

您可以使用分区数据选项卡的详细信息面板中的保存按钮将单个消息保存到硬盘驱动器上的文件中。该文件将按原样包含消息的字节。您还可以使用相同的机制保存消息的密钥。

在Apache Kafka中启用Offset Explorer功能,通常不需要直接在生产者或消费者的配置文件中做特定设置,因为Offset Explorer是一个独立的服务,用于管理和查询消费者群组的偏移量信息。不过,如果你想通过Kafka命令行工具kafka-configs来管理这个特性,可以按照以下步骤操作: 1. **安装和启动Offset Explorer**:首先,需要从Kafka项目仓库下载并启动Offset Manager服务,这通常是作为集群的一部分部署的。 2. **创建Topic-specific offsets topic**:Offset Explorer需要一个主题来存储每个分区的偏移量元数据。你可以使用`kafka-topics.sh`脚本创建这个主题,例如: ``` bin/kafka-topics.sh --create --topic offsets --partitions 1 --replication-factor 1 --if-not-exists --config retention.ms=86400000 ``` 3. **配置Kafka Consumers**:确保你的消费者配置包含了offset.commit.interval.ms和enable.auto.commit等属性,以便它们向Offset Manager提交消费进度。比如: ```json { "auto.offset.reset": "earliest", "enable.auto.commit": "true", "auto.commit.interval.ms": "5000" } ``` 4. **启用Offset Manager**:如果Offset Manager是作为一个独立的服务运行,确保它连接到了正确的Kafka集群,并配置了正确的Zookeeper实例,以便管理偏移量。 5. **验证和访问**:你可以通过Kafka的命令行工具如`kafka-consumer-offset-checker.sh`来检查和查询偏移量,或者通过Kafka UI中的Offset Explorer页面查看和管理。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值