Kafka系列(六)、Kafka开发套件kafka lenses 安装及使用(带WebUI)

kafka UI工具部署介绍 kafka Map、kafka eagle、Know Streaming、Kafka-UI四款UI工具部署测试 阅读详情

目录

介绍

安装

使用


Kafka系列:

kafka 2.4.1单机版部署及使用

kafka监控系统kafka eagle安装使用

滴滴开源的kafka-manager编译及部署使用

kafka管理监控系统 CMAK(yahoo的kafka-manager)部署及使用

Kafka系列(一)、2.6.0版本kafka集群搭建

Kafka系列(二)、架构原理及存储机制

Kafka系列(三)、生产者分区策略、ISR、ACK机制、一致性语义

Kafka系列(四)、消费者策略、Rebalance机制、Offset存储机制 

Kafka系列(五)、开启SASL安全认证以及配置ACL权限控制


介绍

Lenses 是kafka的一个商用套件,本次我们使用docker安装他们给我们提供的开源版本,该开源版本包含超多组件,对于平时开发使用来说很友好,不需要去安装一堆开发组件,它自带了Apache Kafka, Kafka Connect, Zookeeper, Confluent Schema Registry,Confluent  REST Proxy 以及几个lenses开源的管理ui界面 kafka-topics-ui, schema-registry-ui, kafka-connect-ui, 还包含了30多种kafka connector,大大减少了我们安装部署的工作量,目前最新的镜像已经跟到kafka_v2.5.1,还是挺新的。

官方网址:https://lenses.io

Github:https://github.com/lensesio/fast-data-dev

安装

Docker

在安装lenses的开发镜像之前我们需要先准备docker环境,安装还是很简单的:

# 1. CentOS7 一键安装docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

# 2. 配置docker镜像加速,这里我使用的是阿里云的加速镜像,记得将下面的yourID换成自己的
# 其他加速镜像:
# https://docker.mirrors.ustc.edu.cn/
# https://hub-mirror.c.163.com
# https://registry.docker-cn.com
vim /etc/docker/daemon.json
#------------------
{
  "registry-mirrors": ["https://yourID.mirror.aliyuncs.com"]
}
#------------------

# 3. 执行命令重启服务
sudo systemctl daemon-reload
sudo systemctl restart docker

# 4. 查看docker信息
docker info

kafka lenses:fast data dev

使用下面的命令拉取并运行 lenses 开发镜像:

# 拉取镜像
docker pull lensesio/fast-data-dev

# 启动镜像
docker run --rm -it     -p 2181:2181 -p 3030:3030 -p 8081:8081     -p 8082:8082 -p 8083:8083 -p 9092:9092 e ADV_HOST=127.0.0.1 lensesio/fast-data-dev

启动完成后在浏览器中输入ip:3030 即可看到下图界面: 

使用

我们使用如下命令进入该镜像的命令行模式:

docker run --rm -it --net=host lensesio/fast-data-dev bash

然后创建一个topic 并开启一个producer 和consumer :

# 创建一个topic:csdn_wyk
kafka-topics --zookeeper 127.0.0.1:2181 --create --topic csdn_wyk --partitions 3 --replication-factor 1

#开启一个生产者
kafka-console-producer --broker-list 127.0.0.1:9092 --topic csdn_wyk

# 开启一个消费者
kafka-console-consumer --bootstrap-server 127.0.0.1:9092 --topic csdn_wyk

回到刚才的lenses fast data 页面,在首页点击kafka-topics-ui即可进入如下页面,可以直接查看topic内的数据分区和配置项等信息:

在首页点击 kafka-connect-ui即可进入下面的页面,在这里我们可以直接配置kafka connector:

在首页点击 schema-registry-ui即可进入下面的页面,在这里我们可以管理注册到kafka schema registry的schema:

 

希望本文对你有帮助,请点个赞鼓励一下作者吧~ 谢谢!

使用Kafka UI进行Kafka管理 Kafka UI是一个强大的工具,可以帮助我们更方便地管理和监控Kafka集群。通过Kafka UI,我们可以轻松地创建和管理Topic,查看集群的状态,以及监控生产者和消费者的活动。本文介绍了如何使用Kafka UI进行Kafka集群的管理,并提供了相应的源代码示例。希望这篇文章对你理解和使用Kafka UI有所帮助! 阅读详情

相关推荐

Kafka UI:简化您的消息队列管理体验

Kafka UI是一个基于Web的界面,旨在简化Kafka集群的管理和监控。它提供了直观的用户界面,可以方便地查看和操作Kafka的主题、分区、消费者组等重要组件。通过Kafka UI,您可以执行以下操作:查看主题和分区:Kafka UI允许您查看已创建的主题和它们的分区。您可以轻松地浏览主题中的消息、查看偏移量以及监控分区的状态。发送和消费消息:使用Kafka UI,您可以轻松地向特定主题发送消息,并查看发送消息的状态。此外,您还可以消费特定主题的消息,并查看消费进度和消费者组的状态。

CvhShell的博客 951

Kafka Lens 使用教程

Kafka Lens 使用教程 1. 项目介绍 Kafka Lens 是一个用于可视化 Kafka 集群、主题、分区和消息流的工具。它允许开发者轻松地检查 Kafka 集群,并在集群出现问题时进行故障排除。通过 Kafka Lens,开发者可以快速测试新服务是否正常工作,通过监控消息如何发布到 Kafka 主题和分区,而无需使用命令行界面或昂贵的云解决方案。 2. 项目快速启动 2.1 环境准备 ...

gitblog_00317的博客 444

RK3576平台Buildroot嵌入式Linux镜像构建实战

嵌入式Linux镜像构建是连接硬件能力与软件功能的核心技术环节,其本质是基于目标SoC架构的交叉编译、内核定制与根文件系统集成过程。原理上依赖工具链适配、设备树绑定、分区镜像生成等关键步骤,技术价值在于实现轻量、确定、可复现的系统交付。典型应用场景涵盖ARM64开发板(如RK3576)、工业边缘网关及国产化信创终端。本文以TaishanPi-3为载体,深入解析Buildroot在RK3576平台上的配置裁剪、并行编译优化、genimage分区合成及update.img烧录准备,覆盖从环境选型(Ubuntu

weixin_36047538的博客 139

kafka图形化管理后台

Kafka 本身没有直接的后台管理界面,但可以通过这些工具来实现 Kafka 集群的图形化管理、监控和调优。

weixin_44594317的博客 2904

实现单芯片2400bps 音频编解码方案

终于按照朋友的需求,帮他开发了一款单芯片集音频采集编码传送并接收解码播放功能的方案,交给快递公司邮寄给远在郑州的他.整个项目从开始定型到现在一个样机送出,整整花了1个月时间,感觉挺有成就感,挺有意思,工作是辛苦的,结果却是快乐的.现在将这中快乐的的心情与大家分享一下.    真个项目用一颗主控搞定,ARM9的,200KBytes 片内RAM,主频可以跑到300MHz,64pin LQFP封装

nyxsec的专栏 3684

VMvare 桥接模式无法联网、没有未桥接的主机网络适配器,无法将网络更改为桥接状态。

很多程序员,整天沉浸在业务代码的 CRUD 中,业务中没有大量数据做并发,缺少实战经验,对并发仅仅停留在了解,做不到精通,所以总是与大厂擦肩而过。我把私藏的这套并发体系的笔记和思维脑图分享出来,理论知识与项目实战的结合,我觉得只要你肯花时间用心学完这些,一定可以快速掌握并发编程。《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!战项目源码讲义》点击传送门即可获取!**

q16974058的博客 4330

Kafka Lenses 安装与使用:带 WebUI 的 Kafka 开发套件实战

Kafka 作为分布式消息队列,原生命令行工具在 Topic 管理、消息浏览和 Consumer Group 监控上效率较低。通过 WebUI 管理平台,开发者可以可视化查看消息内容、实时监控消费 Lag、执行 SQL 流查询,显著降低运维复杂度。Kafka Lenses 正是这类工具的代表,它提供了 Topic 全生命周期管理、消息格式自动反序列化、Lag 趋势图表和基于 SQL 的流处理能力。在本地开发、测试环境搭建和生产集群监控等场景中,带 WebUI 的 Kafka 管理套件能有效提升调试与运维效率

weixin_42531923的博客 178

AIR780E二次开发点灯(LuatOS)

Air780E的LuatOS点灯教程,二次开发教程,可用于所有ec618平台,无需SDK

rootuseres的博客 1万+

本地搭建Kafka与Lenses可视化环境:Docker Compose实战指南

Kafka作为分布式消息队列,其命令行工具虽功能强大但操作繁琐,尤其在调试和监控时效率低下。通过WebUI实现topic管理、消息浏览和消费者组监控,能大幅提升开发运维效率。Lenses作为Kafka的可视化开发套件,提供图形化界面和SQL流处理能力,类似数据库客户端之于MySQL。本文基于Docker Compose,详细讲解如何本地部署Kafka与Lenses社区版,涵盖环境准备、配置要点、核心功能使用及常见问题排查,帮助开发者快速构建可观测的Kafka实验环境,适用于本地调试、技术选型及日常运维场景。

weixin_29230649的博客 281

<IBM AIX> 《HACMP 实用手册和命令 HA切换手册》 - 鸿篇巨制,全网最全

操作命令检查磁盘预留策略要将磁盘预留策略更改为 no_reserve集群状态实用程序查看集群状态是否正常SMIT System Management (C-SPOC)Cluster ServicesShow Cluster Services 面板上的选项或 lssrc 命令查看资源组、资源组对应的VG、资源组对应的APPLICATION SERVER# ./cldispsmit常用命令F3退出F4列表Esc+6或者F6查看命令Esc+7或者F7选择多项检查状态。

Else 的博客 3363

基于MATLAB Simulink的电动汽车整车控制仿真

在本文中,我们选择了power_ElectricVehicle示例模型,该模型已经包含了电动汽车的基本组成部分,包括电机、变速器、驱动轮、电池等。例如,使用PID控制器来控制电机的转速,使用ABS控制器来控制车轮的制动力,使用转向控制器来控制车辆的转向角度,使用悬挂控制器来控制车轮的姿态等。通过建立模型和实现控制器,我们可以比较直观地了解电动汽车的工作原理和性能特点,并验证设计的控制系统在不同工况下的效果。而在电动汽车的开发中,整车控制系统是至关重要的一个组成部分,直接影响着电动汽车的性能和性价比。

qq_39605374的博客 1800

探索Kafka Topics UI:一款直观易用的Kafka管理工具

探索Kafka Topics UI:一款直观易用的Kafka管理工具 去发现同类优质开源项目:https://gitcode.com/ 在大数据和实时流处理的世界中,Apache Kafka扮演着关键的角色。它是一个分布式流处理平台,用于构建实时数据管道和应用。而今天,我们要介绍的是一款开源项目——,它是Lenses.io为简化Kafka集群管理而创建的一款直观、友好的图形界面工具。 项目简介 K...

gitblog_00089的博客 740

redhawk:avgTW maxTW minTW minWC的区别

分析dynamic ir drop报告时会遇到这几个值,avgTW maxTW minTW minWC,如下图。我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧?

m0_61544122的博客 693

OpenOCD入门指南:嵌入式调试神器的10个基础用法

OpenOCD(Open On-Chip Debugger)是一款强大的开源嵌入式调试工具,支持JTAG、SWD等多种调试接口,能够帮助开发者实现对嵌入式目标设备的程序下载、断点调试和系统分析。本文将介绍10个基础用法,让你快速掌握这个调试神器。 ## 1. 一键安装OpenOCD 首先需要获取OpenOCD源码并编译安装。通过以下命令克隆仓库并完成基础构建: ```bash git clo

gitblog_00093的博客 405

uniapp [全端兼容] - 实现接入使用天地图及卫星视图切换功能,在国家天地图上自由切换地图显示类型(卫星视图/地形视图/卫星混合/地形混合/普通视图)天地图切换视图显示改成卫星风格,切换地图图层

uni-app,h5移动端网页,微信小程序,支付宝小程序,Android安卓,苹果ios,app,nvue,天地图,视图,卫星,地图类型切换,uniAPP天地图,改成卫星视角,在线地图切换,来回切换卫星图,天地图如何实现来回切换卫星图,地形图,卫星视图,VUE3引入天地图卫星版,详细教程示例源码代码,天地图切换卫星用什么api,卫星视角API方法,vue3卫星天地图,能改地图的显示方式,vue3中使用天地图自定义样式切换地图图层,切换报错,加载出错,卫星图太卡,地图图层更换,vue3安装集成天地图详细示例源

🏆 前端领域优质创作者 1万+

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

史上最强的Kafka可视化WebUI工具,涵盖多种功能

GitHub - lichengchuan/KafkaWebUIByLCC: Kafka Web UI By LCC 是一个专为简化Apache Kafka集群管理和操作而设计的图形化用户界面(GUI)。该项目旨在为开发者、运维人员和数据科学家提供一个直观且易用的平台,以进行Kafka主题(Topic)管理、消息生产和消费、以及集群监控等任务。通过该工具,用户无需编写复杂的命令行指令,即可轻松完成日常维护工作,并能更有效地监控和优化Kafka集群性能。

qq_46248151的博客 1万+

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

使用docker搭建kafka-lenses

今天发现一个好东西!一键搭建kafka+zookeeper+kafka监控; kafka-lenses实现一键搭建kafka+zookeeper+kafka监控 一、问题背景 常规的搭建方法,需要分别搭建kafka服务、zookeeper服务,然后是监控kafka的服务,例如kafka-eagle.kafka-Monitor等监控组件。 使用docker搭建kafka-lenses之后,完全都拥...

fct2001140269的博客 1544

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

【免费下载】 Kafdrop:Kafka 集群的 Web UI 可视化工具

Kafdrop 是一个开源的 Web UI 工具,专门用于查看和管理 Apache Kafka 集群。该项目的主要编程语言是 Java,基于 Spring Boot 框架开发。Kafdrop 提供了一个直观的界面,使用户能够轻松地查看 Kafka 集群的详细信息,包括 brokers、topics、partitions、consumers 等。 ## 项目核心功能 Kafdrop 的核心功能包...

gitblog_07508的博客 2248

使用docker在mac创建kafka开发环境,及常用生产消费数据命令行小实操

仅仅了解kafka一些原理还是不够的,我们还需要做一些实战开发,从而帮助我们能够更深刻的掌握kafka这门技术。为了方便我们后续做一些有趣的kafka小开发,首先需要在本地做一些相关环境的配置。

weixin_42496486的博客 884

Apache Kafka UI :一款功能丰富且美观的 Kafka 开源管理平台!!

对数据使用现成的 Serde。

java_121388的博客 1891

Kafka ui 搭建以及使用

kafka 本身没有自带相关的 ui 界面,但是很多时候没有页面意味着只有使用命令行进行相关操作如创建 topic、更改 topic 信息、重置 offset 等等。但实际使用中这种效果很差劲,我们一般还是会借助其他软件,实现对 kafka 的页面管控。结合这张图与实际体验,推荐大家使用 ui for apache kafka 进行 kafka 的 ui 界面化管理。其实 kafka-ui 是没有安装过程的,在 github 上已经打包成了 jar 包,当前最新版本为 ,下载地址如下:https://git

青冬的博客 2万+

kafka管理工具之kafka-ui的环境搭建笔记

kafka-ui是一款管理kafka的工具,基于web的模式,一款优秀的开源项目。本文是在搭建kafka-ui的本地环境时,遇到的各种问题,现将其解决办法记录于此。

IT布道 6921

探索Lenses.io的Schema Registry UI:一个强大的数据治理工具

探索Lenses.io的Schema Registry UI:一个强大的数据治理工具 项目简介 是一个开源的数据治理界面,专门为那些处理结构化数据流的开发者和数据工程师设计。它提供了一个直观、易用的界面,用于管理、查看和验证Avro、 Protobuf 和 JSON Schema,让你的数据标准化流程更加高效。 技术分析 1. 支持多种Schema格式: 该项目支持三种广泛使用的Schema格式:...

gitblog_00032的博客 427

kafka自带没web ui界面,怎么办?安装个第三方的

      见 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口)     ...

weixin_33813128的博客 1387

服务器kafka安装配置和工具连接

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

不知所终的博客 1435

探索 Kafka 领域的新工具:Kafka Topics UI

探索 Kafka 领域的新工具:Kafka Topics UI 项目简介 是一个轻量级、直观的 Web 应用程序,由 Landoop 团队开发,旨在提供一种简单易用的方式来管理 Apache Kafka 的主题。通过浏览器界面,你可以轻松地监控、创建、修改和删除 Kafka 集群的主题,而无需直接操作命令行或编写复杂的脚本。 技术分析 Kafka Topics UI 基于现代前端框架构建,采用 R...

gitblog_00045的博客 549
上一篇: CDC系列(二)、Maxwell_v1.27.1 监控MySQL操作日志实时同步到Kafka
下一篇: Kafka系列(七)、Kafka套件 Confluent Platform 单机/集群部署
王义凯_Rick
王义凯_Rick 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄14年 858粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘,路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值