消息积压、排查困难？Provectus Kafka UI 让你的数据流一目了然

原创于 2025-11-06 09:23:27 发布 · 709 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #ui #分布式

朝花夕拾篇专栏收录该内容

109 篇文章

订阅专栏

01 引言

消息队列是IT领域常见中间件，而Apache Kafka以其高吞吐、高性能游走于分布式开发和大数据上下游处理中。总之，削峰、解耦、大数据异步处理都会有Kafka的影子。

但是，消息的积压、排查总是无法直观的看到问题。急需一款直观、强大的图形化界面来提升工作效率。在GitHub无意间发现了一个项目：kafka-ui。此项目正是解决我的燃眉之急，我们一起了解一下吧。

02 简介

2.1 选型

在了解这款kafka-ui之前，其实还有发现了其他两个类似的开源项目，并且star数还不低。

我们这里要介绍是第一个。其他两个对比下来，小编觉得功能上并没有第一个丰富。所以最终就选择了provectus/kafka-ui。有兴趣的可以去试试。

2.2 介绍

UI for Apache Kafka是一个功能丰富、基于 Web 的开源用户界面，专门为 Apache Kafka 设计，用来管理Apache Kafka集群。它提供了一个直观的可视化控制台，让用户无需记忆复杂的命令行指令，就能轻松地执行从基本的主题管理到复杂的消费者组监控等各项任务。

GitHub上提供操作的动图以及部署命令，我们以Docker部署为例。

GitHub地址：https://github.com/provectus/kafka-ui

03 部署

GitHub上提供了临时和持久化的两种部署命令。-it表示交互式命令，生命周期随着界面的关闭而关闭，属于临时部署。为了从头开始介绍，我们选用临时部署的方式。

由于我的8080端口被占用，所以修改了宿主机的端口。

docker run -it -p 8081:8080 -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui

启动成功：

直接使用IP+端口的方式访问：http://127.0.0.1:8081/

04 `UI` 配置

4.1 添加集群

进去之后，什么都没有，需要配置集群。我们需要通过Add Bootstrap Server添加集群IP和端口。其他的可以暂时不同设置。

集群下分别有Brokers、Topics和Consumers三个主要信息。其中Brokers和Consumers只能查看，无法操作。最主要的操作对象就是Topics

4.2 `Topic`操作

通过选中Topic可以删除、复制、新增以及清除Topic中的所有消息。

4.3 生产消息

选中Topic之后，可以进行生产消息。

Topic下分别可以查看分片、副本等信息，还可以查看消息、订阅的消费者以及设置预统计。

发送消息说明：

发送消息可以决定从哪个分片发送以及发送K、V的数据类型。发送的消息可以包含key、value以及Headers。

05 编写消费者

5.1 依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

5.2 配置

# Kafka配置
# 集群节点，逗号隔开
spring.kafka.consumer.bootstrap-servers=127.0.0.1:9092,127.0.0.1:9093
# Key 反序列化
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
# value 反序列化
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
# 消费者名称（必填）
spring.kafka.consumer.group-id=kafka-group-test

5.3 消费者监听

消费者获取消息时，可以通过org.apache.kafka.clients.consumer.ConsumerRecord<K, V>类接收，可以获取到所有的信息。

@Component
public class KafkaMessageConsumer {

    @KafkaListener(topics = "mytopic")
    public void receiveMessage(ConsumerRecord<String, String> record) {
        // 获取消息的详细信息
        System.out.println("Consumed record: ");
        // 获取消息的 key
        System.out.println("Key: " + record.key());
        // 获取消息的 value
        System.out.println("Value: " + record.value());
        // 获取消息的 topic
        System.out.println("Topic: " + record.topic());
        // 获取消息的分区
        System.out.println("Partition: " + record.partition());
        // 获取消息的Headers
        System.out.println("headers: " + record.headers());
        // 获取消息的偏移量
        System.out.println("Offset: " + record.offset());
        // 获取消息的时间戳
        System.out.println("Timestamp: " + record.timestamp());
    }
}

发送的消息：

key: this is mytopic key
value: this is mytopic value
headers: {"x-topic": mytopic}

接收的消息：

3.4 番外

在接受消息时，使用ConsumerRecord我们可以得到完整的消息。如果只关注消息本身（Value），那我们可以直接使用String接收。如：

@KafkaListener(topics = "mytopic")
public void receiveMessage2(String record) {
	System.out.println(record);
}

这样消息的其他信息就会被丢弃，只保留Value值。

06 小结

一个好用的UI工具，可以方便我们排查问题和管理集群。provectus/kafka-ui采用动态配置的方式，类似搭建了一个管理平台，可以管理所有的集群。做到了一处部署，多处使用，极大的方便了开发者的使用。赶快去探索吧！