【kafka-ui】支持kafka with kraft的可视化集群管理工具

kafka UI工具部署介绍 kafka Map、kafka eagle、Know Streaming、Kafka-UI四款UI工具部署测试 阅读详情
AI摘要

在Kafka 3.3.1版本抛弃Zookeeper后,原有可视化工具无法使用。为解决此问题,找到轻量好用的可视化工具kafka-ui(现维护的是kafbat-ui)。介绍了其jar启动、docker快速部署、添加登录页面的方法,分析了优缺点,还给出连接带认证Kafka集群的方式。

本文在kafka3.3.1版本基础上进行测试

前言

在早期使用kafka的时候一般使用Kafka Tool或者kafka eagle,前者为桌面软件,后者为浏览器软件。总体来说体验一般,但是还比较够用。

但是从kafka3.3.1开始,已经正式抛弃zookeeper使用自己的仲裁器了,但是上述两种kafka可视化工具的更新好像并没有跟上,依然需要输入zookeeper的地址才可以连接,所以就变得不能用了。

为了解决这个问题,我找到了一个比较轻量好用的可视化工具kafka-ui。

kafka-ui仓库目前已经不在维护,目前在维护的是kafbat-ui。UI样式和使用方式与kafka-ui一致。

以下涉及docker方式安装的,已经将镜像改为kafbat-ui,但是本人未测试。

kafka-ui

1.jar启动

kafbat-ui提供了jar包,可以直接使用java -jar方式启动。jar包区github仓库进行下载。

启动以后访问8080端口

2.docker快速部署

docker run -p 8080 \
    --name kafka-ui \
    -e KAFKA_CLUSTERS_0_NAME=kafka9092 \
    -e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=localhost:9092 \
    -e KAFKA_CLUSTERS_1_NAME=kafka9093 \
    -e KAFKA_CLUSTERS_1_BOOTSTRAPSERVERS=localhost:9093 \
    -e TZ=Asia/Shanghai \
    -e LANG=C.UTF-8 \
    -d ghcr.io/kafbat/kafka-ui:latest

上述docker容器启动后可以管理两个kafka集群,注意写法。

添加登录页面

默认kafka-ui是免登录的,为了防止所有人都可以登录产生误操作问题,在docker部署的时候可以添加如下四个环境变量配置用户的登录密码。用户名密码根据自己需求修改倒数两行中的admin。

-e SERVER_SERVLET_CONTEXT_PATH="/" \
-e AUTH_TYPE="LOGIN_FORM" \
-e SPRING_SECURITY_USER_NAME=admin \
-e SPRING_SECURITY_USER_PASSWORD="admin" \

配置好账号密码,删除并重建容器,再输入kafka-ui的地址,会出现如下页面,登录即可。

优点

1.页面非常简洁、清爽,支持夜间模式(v0.7)

首页

topic管理:支持查看topic元信息, 增加、删除topic,清除topic信息,往topic中添加数据等。

2. docker部署,非常方便

3.功能齐全,该有的功能全都有

4.集群连接方便,不管是连接旧版本的kafka还是3.3.1及以后版本的kafka,只需要指定kafka的ip端口即可,不需要指定任何其他内容。

5.官方文档非常详细,需要查看详细说明,可以点击链接跳转。

缺点

1.不支持页面添加集群,官方也解释了,这是一个无状态的服务,所以情有可原。但是因为项目是Springboot写的,docker部署的,如果添加集群可以重建docker容器,或者修改配置文件,重启容器,具体可以查看项目github说明,因为我没有用配置文件,这里没有详细介绍。

连接带认证的kafka集群

连接带认证的kafka集群在kafka-ui的github上面也有,但是文章写的不太全面,我测试了如下两种带认证集群的连接方式。需要可以参考。

连接SASL_PLAINTEXT认证的Kafka

如果集群没有配置SASL_PLAINTEXT认证可以参考我写的这篇文章。

连接SASL_PLAINTEXT认证的kafka需要添加如下三个环境变量,KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG变量指定的用户名密码需要与实际情况一致。

docker run -p 1992:8080 \
    --name kafka-ui \
    -e KAFKA_CLUSTERS_0_NAME=kafka9092 \
    -e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=localhost:9092 \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL=SASL_PLAINTEXT \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SASL_MECHANISM=PLAIN \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SASL_JAAS_CONFIG='org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin";' \
    -e TZ=Asia/Shanghai \
    -e LANG=C.UTF-8 \
    -d ghcr.io/kafbat/kafka-ui:latest

连接SSL认证的kafka

连接SSL认证的kafka需要额外添加如下四个环境变量,其中KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_LOCATION变量指定的配置文件需要时在配置ssl时候提前生成的,如果需要做SSL认证,和生成证书,可以参考我写的这篇文章。

另外注意KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_PASSWORD变量中指定的密码也是实际的密码。

docker run -p 1993:8080 \
    --name kafka-ui-pwd \
    -e KAFKA_CLUSTERS_0_NAME=kafka8082 \
    -e KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=localhost:8082 \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SECURITY_PROTOCOL=SSL \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_LOCATION=/cert/client.truststore.jks \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SSL_TRUSTSTORE_PASSWORD=admin \
    -e KAFKA_CLUSTERS_0_PROPERTIES_SSL_ENDPOINT_IDENTIFICATION_ALGORITHM='' \
    -e TZ=Asia/Shanghai \
    -e LANG=C.UTF-8 \
    -v /data/users/yulei/ssl_cert:/cert \
    -d ghcr.io/kafbat/kafka-ui:latest

Linux下Apache Kafka KRaft模式部署与kafka-ui-lite可视化监控实战 在分布式系统架构中,消息队列是实现应用解耦、异步通信和流量削峰的核心组件。其工作原理基于生产者-消费者模型,通过持久化存储和分区机制保证消息的高可靠与高吞吐。这项技术在现代微服务、实时数据处理和日志收集等场景中具有重要价值,尤其对于需要处理海量数据流的业务。Apache Kafka作为分布式流处理平台的代表,其KRaft模式通过内置共识协议简化了集群管理,而kafka-ui-lite则提供了轻量级的Web监控界面,极大提升了运维效率。本文聚焦于在Linux环境中,从零部署生产可用的Kafka集群,并集成可视 阅读详情

相关推荐

告别ZooKeeper依赖!用kafbat-ui(原kafka-ui)一站式管理Kafka 3.3.1+ KRaft集群

本文介绍了如何使用kafbat-ui(原kafka-ui)一站式管理Kafka 3.3.1+ KRaft集群,告别对ZooKeeper的依赖。文章详细解析了kafbat-ui的核心优势,包括无缝KRaft支持、轻量级部署和全面功能覆盖,并提供了生产环境部署实践和高级功能使用技巧,帮助用户高效管理现代Kafka架构。

weixin_30787531的博客 480

kafka管理工具之kafka-ui的环境搭建笔记

kafka-ui是一款管理kafka的工具,基于web的模式,一款优秀的开源项目。本文是在搭建kafka-ui的本地环境时,遇到的各种问题,现将其解决办法记录于此。

IT布道 6921

Kafka集群管理新选择:深度体验Kafka-UI,对比CMAK/Offset Explorer谁更香?

本文深度评测了Kafka集群管理工具Kafka-UI与CMAK、Offset Explorer的核心功能与适用场景。Kafka-UI凭借开箱即用、实时监控和高效部署等优势,成为新兴架构的首选方案,特别适合需要可视化管理和快速故障排查的团队。文章从集群管理、Topic操作、消费者组管理等维度展开对比,为技术决策者提供实用选型建议。

weixin_30540691的博客 290

kafka ui

kafka ui,一款kakfa的web管理工具,支持多集群管理。以下是各种kafka管理工具的对比。

shenyunsese的专栏 6594

Kafka集群安全加固实战:手把手教你为kafbat-ui配置SASL/SSL认证连接

本文详细介绍了如何为kafbat-ui配置SASL/SSL认证连接,确保Kafka集群的安全访问。从SASL和SSL的基础原理到生产环境证书管理,再到kafbat-ui的具体配置和运维实践,提供了一套完整的Kafka集群安全加固方案,特别适合中级到高级运维人员参考实施。

weixin_33738555的博客 2344

Kafka-UI保姆级教程:从Docker部署到连接SASL/SSL认证集群(附避坑指南)

本文详细介绍了如何使用Docker部署Kafka-UI并连接SASL/SSL认证集群,提供从基础环境准备到安全加固、多集群管理的全流程指南。特别针对KRaft模式下的可视化集群管理需求,分享了配置技巧和常见问题解决方案,助力企业高效运维Kafka消息中间件。

weixin_28729331的博客 206

Kafka部署全攻略——Kafka-KRaft模式框架

kraft模式的安装配置及可视化工具的使用

bbsxb520的博客 1270

Kafka运维选哪个?深度对比Offset Explorer 2.1与CMAK 3.0.6的实战体验

本文深度对比了Kafka运维中两款主流图形化工具Offset Explorer 2.1与CMAK 3.0.6的实战体验。从核心功能、部署方式、用户界面、安全管理、特殊场景支持到成本分析六个维度进行全面评测,帮助技术决策者根据实际需求选择最适合的Kafka管理工具,提升运维效率。

weixin_33738555的博客 416

Kafka-UI实战指南:开源Kafka集群管理工具深度解析与架构设计

Apache Kafka集群管理是分布式系统运维中的核心挑战,传统的命令行工具和分散的监控方案难以满足生产环境对可视化、实时性和易用性的需求。Kafka-UI作为开源Kafka集群管理工具,通过统一的Web界面解决了多集群监控、主题管理、消息浏览和Schema Registry集成等复杂问题,为Kafka运维提供了完整的技术解决方案。 ## Kafka集群管理痛点分析与技术选型 在分布式消息系

gitblog_00492的博客 106

Kafka Docker配置核心:advertised.listeners网络解析与多客户端互通

Kafka 是分布式流处理系统的通信中枢,其容器化部署的关键在于理解服务监听(listeners)与对外宣告地址(advertised.listeners)的本质区别。Docker 网络隔离导致容器内 localhost 与宿主机网络平面不互通,若 advertised.listeners 配置为不可达地址(如 localhost 或私有网段 IP),Java/Python/.NET 等各类客户端将出现 Connection refused 或 UnknownHostException。该机制背后是 Kaf

weixin_32075843的博客 165

Kafka UI:简化您的消息队列管理体验

Kafka UI是一个基于Web的界面,旨在简化Kafka集群的管理和监控。它提供了直观的用户界面,可以方便地查看和操作Kafka的主题、分区、消费者组等重要组件。通过Kafka UI,您可以执行以下操作:查看主题和分区:Kafka UI允许您查看已创建的主题和它们的分区。您可以轻松地浏览主题中的消息、查看偏移量以及监控分区的状态。发送和消费消息:使用Kafka UI,您可以轻松地向特定主题发送消息,并查看发送消息的状态。此外,您还可以消费特定主题的消息,并查看消费进度和消费者组的状态。

CvhShell的博客 951

探索Kafka Topics UI:一款直观易用的Kafka管理工具

探索Kafka Topics UI:一款直观易用的Kafka管理工具 去发现同类优质开源项目:https://gitcode.com/ 在大数据和实时流处理的世界中,Apache Kafka扮演着关键的角色。它是一个分布式流处理平台,用于构建实时数据管道和应用。而今天,我们要介绍的是一款开源项目——,它是Lenses.io为简化Kafka集群管理而创建的一款直观、友好的图形界面工具。 项目简介 K...

gitblog_00089的博客 740

史上最轻便好用的kafka ui界面可视化图形界面工具

史上最轻便好用的kafka ui界面客户端工具,可以在生产消息、消费消息、管理topic、管理group;可以支持管理多个kafka集群;部署简便,可以一键启动,不需要配置数据库、不需要搭建web容器;支持zookeeper ui界面化操作;支持多环境管理;支持redis ui界面化操作;支持多环境管理;支持权限控制,可以自定义不同环境的新增、修改、删除权限;默认分配只读权限,避免用户的误操作

推荐使用 EFAK - Kafka 集群管理和监控的利器!

EFAK,原名为 Kafka Eagle,是一个强大的、开源的 Kafka 集群管理和监控工具,由一群热情的技术开发者共同维护。它设计的目标是让用户能够以更直观、高效的方式监控和管理他们的 Kafka 集群,无论是在小规模测试环境还是大规模生产环境中,都能发挥重要作用。 ## 项目技术分析 EFAK 采用 Java 语言编写,具有良好的跨平台兼容性,支持 Linux、Windows、Mac O...

gitblog_00069的博客 649

winedt + miktex + SumatraPDF 搭建latex环境

整个环境包含三部分: - winedt: 前端编辑器 - miktex: 后端编译器 - SumatraPDF: 预览器顺序无关紧要, 不过如果先装miktex的话, 可能会被winedt在安装的时候自动找到路径从而不需要设置.1.安装miktex首先在latex-project官网, 打开”get”后, 有四种平台: Linux, Mac OS, Windows, Online. 我写论文

Iteration makes perfection. 6450

Basler相机和pylon viewer 的使用

文章目录1 线路连接2 安装和使用pylon 1 线路连接 电源线接到电源插座,网线接到电脑(电脑没有网口的话,可用转换器转到type-c接口)。 2 安装和使用pylon 参考 Basler pylon安装及对网口相机基本设置 相机和电脑以太网IP设置参考:balser相机IP设置 关于相机参数和pylon viewer的详细设置,可以参考pylon Viewer安装路径下的文档(Documentation) ...

Deephome的博客 1万+

Kafka部署实战:从单机到集群的完整指南与排障调优

消息队列是现代分布式系统异步解耦与削峰填谷的关键组件,Kafka凭借极致的吞吐量和持久化能力成为日志聚合、流式处理等场景的首选。但Kafka部署并非简单启动服务,从单机环境到生产集群,涉及Broker、Partition、Consumer Group等核心概念,以及监听地址、副本因子、消息大小上限等参数的正确配置。很多团队常在集群规划、UI工具选型、消息延迟排查、Rebalance调优上踩坑。本文从零梳理Kafka安装部署全流程,覆盖Linux手动安装、Docker Compose快速搭建、集群参数模板、常

weixin_42613501的博客 277

RK平台MPP编解码实战:从源码编译到性能测试全解析

本文详细解析了在RK(瑞芯微)平台上进行MPP(Media Process Platform)多媒体编解码实战的全过程。从源码获取、交叉编译环境搭建、常见编译问题排查,到测试程序的修改调试与性能测试分析,提供了从零到一的完整指南。文章通过实测数据展示了MPP硬件编解码在嵌入式设备上的高性能与低功耗优势,帮助开发者快速掌握这一关键技术,应用于智能摄像头、视频会议终端等产品开发。

weixin_28273593的博客 542

kafka--基础知识点--0

https://cloud.tencent.com/developer/article/2307892 19张图。

Chasing__Dreams的博客 1160

Far planner 代码系列(33) 关于real_world_contour和contour_graph

我们知道far planner前部分的流程是这样子的: 对于特定的地图,如下: 我们要从surround_obs_cloud里抽取生成realworld_contour_,如下图所示: 在这时候,每个node的z坐标都是以机器人的高度定的。如图所示: 先去吃饭啦~待会回来在写 ...

博客 762

CPU、Core、RISC、ARM等的前世今生

CPU、Core、RISC-V 、ARM、ASIC、FPGA、SOC概念及区分

nxin168的博客 1013

解决Kafka-UI中Protobuf反序列化难题:从错误到解决方案的完整指南

在Apache Kafka(卡夫卡)的日常运维中,你是否遇到过这样的困境:消息明明发送成功,在Kafka-UI中却显示一堆乱码或报错?特别是使用Protobuf(协议缓冲区)格式时,反序列化失败堪称最让人头疼的问题之一。本文将带你深入分析Kafka-UI中的Protobuf反序列化原理,通过真实案例演示如何诊断和解决常见问题,让你轻松掌握高效排查技巧。 ## Protobuf在Kafka-UI中...

gitblog_00326的博客 486

XCP详解「3.1·ASAP2新建A2L文件」

后面是ASAP2新建A2L的操作步骤,如果是APE中新建的A2L就无需以下操作,APE只需要导入现成的A2L即可。退出点击保存时会提示保存A2L文件,是因为前面导出的是1.70版本,工程最低1.71,可以另外起个名字即可。导入elf文件,elf路径建议直接索引编译生成的Debug下的,防止编译后忘记更新。导出V1.70格式A2L文件,APE17支持V1.70。通过ASAP2生成需要A2L文件更常用些。同一个信号可以创建不同属性量。ASAP2中新建A2L文件。设置标定信号数量最大值。XCP详解「总目录」

光明磊学习&积累的地方 3059

消息中间件:Kafka 快速入门

Apache Kafka 是一款分布式、高吞吐、可持久化、分区、多副本的消息队列(消息中间件),基于发布 / 订阅模式。日志收集、实时数据流系统解耦、异步通信流量削峰填谷实时计算(Flink/Spark Streaming 数据源)Kafka 为什么这么强?高吞吐:磁盘顺序读写 + 批量压缩。“Kafka 基于磁盘存储,为什么能比内存队列更快?” 答案在于磁盘顺序读写和批量压缩。

freeking101的博客 437

90. 将 SAP ABAP 内表内容本地导出成 Excel 文件

这里文件扩展名为 csv,全称是 Comma-Separated Values,意思是这种类型的文件内容,由逗号分隔。除了 ASC 之外,另一个可用的选项是 BIN,适用于 PDF,EXE 等二进制文件的导出。支持海量的输入和输出参数,我们这个简单的本地导出场景里,大部分参数都用不上。这个分隔符的添加逻辑,编写在上图红色高亮矩形框内,使用的语法是。本教程有学习者向我提问,询问如何将 ABAP 某某函数的某某输出参数的值,导出成本地 Excel 文件。把这个内表的内容,下载到本地,以本地文件的方式保存。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1742

LangGraph实战训练营-打造 WhatsApp 全自动消息收发AI智能助手

本文系统梳理了项目架构(WhatsApp Bridge + Talon Host + LangGraph Agent Harness三层设计)、完整环境搭建流程(Docker/本地双模式部署)、核心原理(WhatsApp桥接机制、NVIDIA Parakeet语音转录管线、Cron定时调度、Agent图状状态机),并提供了基础对话、文件操作、语音处理、定时任务等六大实战示例。同时涵盖安全策略、性能优化、数据备份等生产级运维实践,以及十个高频问题的排查方案。

program哲学 190
上一篇: SpringCloud 协同开发方案
下一篇: [Kafka with kraft] SASL_PLAINTEXT认证
iFence
博客等级 码龄9年 8051粉丝 111原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值