Kafka系列(六)、Kafka开发套件kafka lenses 安装及使用(带WebUI)

kafka UI工具部署介绍 kafka Map、kafka eagle、Know Streaming、Kafka-UI四款UI工具部署测试 阅读详情

目录

介绍

安装

使用


Kafka系列:

kafka 2.4.1单机版部署及使用

kafka监控系统kafka eagle安装使用

滴滴开源的kafka-manager编译及部署使用

kafka管理监控系统 CMAK(yahoo的kafka-manager)部署及使用

Kafka系列(一)、2.6.0版本kafka集群搭建

Kafka系列(二)、架构原理及存储机制

Kafka系列(三)、生产者分区策略、ISR、ACK机制、一致性语义

Kafka系列(四)、消费者策略、Rebalance机制、Offset存储机制 

Kafka系列(五)、开启SASL安全认证以及配置ACL权限控制


介绍

Lenses 是kafka的一个商用套件,本次我们使用docker安装他们给我们提供的开源版本,该开源版本包含超多组件,对于平时开发使用来说很友好,不需要去安装一堆开发组件,它自带了Apache Kafka, Kafka Connect, Zookeeper, Confluent Schema Registry,Confluent  REST Proxy 以及几个lenses开源的管理ui界面 kafka-topics-ui, schema-registry-ui, kafka-connect-ui, 还包含了30多种kafka connector,大大减少了我们安装部署的工作量,目前最新的镜像已经跟到kafka_v2.5.1,还是挺新的。

官方网址:https://lenses.io

Github:https://github.com/lensesio/fast-data-dev

安装

Docker

在安装lenses的开发镜像之前我们需要先准备docker环境,安装还是很简单的:

# 1. CentOS7 一键安装docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

# 2. 配置docker镜像加速,这里我使用的是阿里云的加速镜像,记得将下面的yourID换成自己的
# 其他加速镜像:
# https://docker.mirrors.ustc.edu.cn/
# https://hub-mirror.c.163.com
# https://registry.docker-cn.com
vim /etc/docker/daemon.json
#------------------
{
  "registry-mirrors": ["https://yourID.mirror.aliyuncs.com"]
}
#------------------

# 3. 执行命令重启服务
sudo systemctl daemon-reload
sudo systemctl restart docker

# 4. 查看docker信息
docker info

kafka lenses:fast data dev

使用下面的命令拉取并运行 lenses 开发镜像:

# 拉取镜像
docker pull lensesio/fast-data-dev

# 启动镜像
docker run --rm -it     -p 2181:2181 -p 3030:3030 -p 8081:8081     -p 8082:8082 -p 8083:8083 -p 9092:9092 e ADV_HOST=127.0.0.1 lensesio/fast-data-dev

启动完成后在浏览器中输入ip:3030 即可看到下图界面: 

使用

我们使用如下命令进入该镜像的命令行模式:

docker run --rm -it --net=host lensesio/fast-data-dev bash

然后创建一个topic 并开启一个producer 和consumer :

# 创建一个topic:csdn_wyk
kafka-topics --zookeeper 127.0.0.1:2181 --create --topic csdn_wyk --partitions 3 --replication-factor 1

#开启一个生产者
kafka-console-producer --broker-list 127.0.0.1:9092 --topic csdn_wyk

# 开启一个消费者
kafka-console-consumer --bootstrap-server 127.0.0.1:9092 --topic csdn_wyk

回到刚才的lenses fast data 页面,在首页点击kafka-topics-ui即可进入如下页面,可以直接查看topic内的数据分区和配置项等信息:

在首页点击 kafka-connect-ui即可进入下面的页面,在这里我们可以直接配置kafka connector:

在首页点击 schema-registry-ui即可进入下面的页面,在这里我们可以管理注册到kafka schema registry的schema:

 

希望本文对你有帮助,请点个赞鼓励一下作者吧~ 谢谢!

使用Kafka UI进行Kafka管理 Kafka UI是一个强大的工具,可以帮助我们更方便地管理和监控Kafka集群。通过Kafka UI,我们可以轻松地创建和管理Topic,查看集群的状态,以及监控生产者和消费者的活动。本文介绍了如何使用Kafka UI进行Kafka集群的管理,并提供了相应的源代码示例。希望这篇文章对你理解和使用Kafka UI有所帮助! 阅读详情

相关推荐

Kafka UI:简化您的消息队列管理体验

Kafka UI是一个基于Web的界面,旨在简化Kafka集群的管理和监控。它提供了直观的用户界面,可以方便地查看和操作Kafka的主题、分区、消费者组等重要组件。通过Kafka UI,您可以执行以下操作:查看主题和分区:Kafka UI允许您查看已创建的主题和它们的分区。您可以轻松地浏览主题中的消息、查看偏移量以及监控分区的状态。发送和消费消息:使用Kafka UI,您可以轻松地向特定主题发送消息,并查看发送消息的状态。此外,您还可以消费特定主题的消息,并查看消费进度和消费者组的状态。

CvhShell的博客 951

Kafka Lens 使用教程

Kafka Lens 使用教程 1. 项目介绍 Kafka Lens 是一个用于可视化 Kafka 集群、主题、分区和消息流的工具。它允许开发者轻松地检查 Kafka 集群,并在集群出现问题时进行故障排除。通过 Kafka Lens,开发者可以快速测试新服务是否正常工作,通过监控消息如何发布到 Kafka 主题和分区,而无需使用命令行界面或昂贵的云解决方案。 2. 项目快速启动 2.1 环境准备 ...

gitblog_00317的博客 444

Vivado ILA调试全攻略:从HDL实例化到Block Design的5个实战技巧

本文全面解析了Vivado集成逻辑分析仪(ILA)的五种核心调试方法,涵盖从HDL代码实例化到Block Design集成的实战技巧。详细对比了不同方法的优缺点与适用场景,并重点介绍了如何利用Debug Hub高效管理多时钟域复杂调试,旨在帮助FPGA开发者精准定位问题,显著提升板级调试效率。

weixin_29214199的博客 376

kafka图形化管理后台

Kafka 本身没有直接的后台管理界面,但可以通过这些工具来实现 Kafka 集群的图形化管理、监控和调优。

weixin_44594317的博客 2904

思科路由器IPv6各种路由协议配置

思科路由器IPv6路由协议配置:1、静态路由配置;2、默认路由配置;3、RIPng路由配置;4、OSPFv3路由配置。

weixin_41687096的博客 6544

VFH避障/局部路径规划算法

VFH避障/局部路径规划算法 本文章是我看《The Vector Field Histogram-Fast Obstacle Avoidance for Mobile Robots》论文时候的笔记,感兴趣的欢迎去看原论文。 VFH中有一些概念是从其他算法中借鉴过来的,并且VFH算法本身就是对VFF(Virtural Force Field)的一种改进,其中有很多的相似之处。所以按照原论文的思路,先介绍由CMU提出的Certainty Grid算法中的一些概念,再介绍一下势场法中的一些概念,接着介绍一下VFF

qq_41845878的博客 8117

Kafka Lenses 安装与使用:带 WebUI 的 Kafka 开发套件实战

Kafka 作为分布式消息队列,原生命令行工具在 Topic 管理、消息浏览和 Consumer Group 监控上效率较低。通过 WebUI 管理平台,开发者可以可视化查看消息内容、实时监控消费 Lag、执行 SQL 流查询,显著降低运维复杂度。Kafka Lenses 正是这类工具的代表,它提供了 Topic 全生命周期管理、消息格式自动反序列化、Lag 趋势图表和基于 SQL 的流处理能力。在本地开发、测试环境搭建和生产集群监控等场景中,带 WebUI 的 Kafka 管理套件能有效提升调试与运维效率

weixin_42531923的博客 178

【MediaPipe实战】从零构建实时人脸关键点检测与表情分析系统

本文详细介绍了如何使用MediaPipe框架从零构建实时人脸关键点检测与表情分析系统。通过Python代码实现,系统能够精准检测468个3D人脸关键点,并实时分析用户表情,适用于智能交互应用。文章包含环境配置、核心实现、可视化技巧及性能优化等实战内容,帮助开发者快速掌握深度学习在计算机视觉中的应用。

weixin_30836759的博客 73

本地搭建Kafka与Lenses可视化环境:Docker Compose实战指南

Kafka作为分布式消息队列,其命令行工具虽功能强大但操作繁琐,尤其在调试和监控时效率低下。通过WebUI实现topic管理、消息浏览和消费者组监控,能大幅提升开发运维效率。Lenses作为Kafka的可视化开发套件,提供图形化界面和SQL流处理能力,类似数据库客户端之于MySQL。本文基于Docker Compose,详细讲解如何本地部署Kafka与Lenses社区版,涵盖环境准备、配置要点、核心功能使用及常见问题排查,帮助开发者快速构建可观测的Kafka实验环境,适用于本地调试、技术选型及日常运维场景。

weixin_29230649的博客 281

MST-GAT: Enhancing Anomaly Detection in Multimodal Time Series with Intra- and Inter-Modal Attention

本文深入解析了MST-GAT模型,这是一种通过模态内与模态间注意力机制增强多模态时间序列异常检测的新方法。它通过构建图结构显式建模传感器间的复杂时空依赖,并结合时间卷积网络与联合优化策略,有效降低了传统方法中常见的误报与漏报问题,在工业监控等场景中展现出卓越性能。

weixin_29079671的博客 150

【论文复现】自动化细胞核分割与特征分析

HoVer-Net是一种精心设计的多分支深度学习网络架构,专为处理复杂的多组织显微图像中的细胞核实例分割与精确分类任务而开发。该网络通过创新的策略,不仅有效解决了细胞核在密集聚集区域难以准确区分的问题,还实现了对每个独立细胞核类型的细致分类。此外,HoVer-Net还引入了专门的上采样分支,这一设计旨在对每个成功分割出的细胞核实例进行进一步的核类型分类。这一分支利用高级语义信息,结合精心设计的分类策略,能够准确判断每个细胞核的所属类型,为医学研究提供了宝贵的细胞水平信息。

2201_75366661的博客 1978

探索Kafka Topics UI:一款直观易用的Kafka管理工具

探索Kafka Topics UI:一款直观易用的Kafka管理工具 去发现同类优质开源项目:https://gitcode.com/ 在大数据和实时流处理的世界中,Apache Kafka扮演着关键的角色。它是一个分布式流处理平台,用于构建实时数据管道和应用。而今天,我们要介绍的是一款开源项目——,它是Lenses.io为简化Kafka集群管理而创建的一款直观、友好的图形界面工具。 项目简介 K...

gitblog_00089的博客 740

使用 MATLAB/Simulink 构建一个 核电站汽轮机与发电机协调控制系统 的仿真模型

在核电机组中,汽轮机-发电机系统是将核能最终转化为电能的关键环节。与火电机组不同,核反应堆的热惯性大、功率调节慢,因此汽轮机的控制策略需与反应堆特性相匹配,实现安全、稳定、高效的能量转换。维持发电机输出功率/频率稳定(响应电网调度)调节汽轮机进汽压力(匹配一回路蒸汽供应)实现“堆-机协调控制”保障机组在启停、变负荷、甩负荷等工况下的安全性本教程将带你使用构建一个核电站汽轮机与发电机协调控制系统汽轮机调速系统(调门控制)建模发电机与电网接口建模(同步机)

xiaoheshang_123的博客 188

OpenOCD入门指南:嵌入式调试神器的10个基础用法

OpenOCD(Open On-Chip Debugger)是一款强大的开源嵌入式调试工具,支持JTAG、SWD等多种调试接口,能够帮助开发者实现对嵌入式目标设备的程序下载、断点调试和系统分析。本文将介绍10个基础用法,让你快速掌握这个调试神器。 ## 1. 一键安装OpenOCD 首先需要获取OpenOCD源码并编译安装。通过以下命令克隆仓库并完成基础构建: ```bash git clo

gitblog_00093的博客 405

SAP-ABAP:BAPI_INSPOPER_RECORDRESULTS 记录检验操作结果更新检验批状态详细解析

SAP-ABAP:BAPI_INSPOPER_RECORDRESULTS 记录检验操作结果更新检验批状态详细解析

baidu_35680696的博客 967

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

史上最强的Kafka可视化WebUI工具,涵盖多种功能

GitHub - lichengchuan/KafkaWebUIByLCC: Kafka Web UI By LCC 是一个专为简化Apache Kafka集群管理和操作而设计的图形化用户界面(GUI)。该项目旨在为开发者、运维人员和数据科学家提供一个直观且易用的平台,以进行Kafka主题(Topic)管理、消息生产和消费、以及集群监控等任务。通过该工具,用户无需编写复杂的命令行指令,即可轻松完成日常维护工作,并能更有效地监控和优化Kafka集群性能。

qq_46248151的博客 1万+

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

使用docker搭建kafka-lenses

今天发现一个好东西!一键搭建kafka+zookeeper+kafka监控; kafka-lenses实现一键搭建kafka+zookeeper+kafka监控 一、问题背景 常规的搭建方法,需要分别搭建kafka服务、zookeeper服务,然后是监控kafka的服务,例如kafka-eagle.kafka-Monitor等监控组件。 使用docker搭建kafka-lenses之后,完全都拥...

fct2001140269的博客 1544

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

【免费下载】 Kafdrop:Kafka 集群的 Web UI 可视化工具

Kafdrop 是一个开源的 Web UI 工具,专门用于查看和管理 Apache Kafka 集群。该项目的主要编程语言是 Java,基于 Spring Boot 框架开发。Kafdrop 提供了一个直观的界面,使用户能够轻松地查看 Kafka 集群的详细信息,包括 brokers、topics、partitions、consumers 等。 ## 项目核心功能 Kafdrop 的核心功能包...

gitblog_07508的博客 2248

使用docker在mac创建kafka开发环境,及常用生产消费数据命令行小实操

仅仅了解kafka一些原理还是不够的,我们还需要做一些实战开发,从而帮助我们能够更深刻的掌握kafka这门技术。为了方便我们后续做一些有趣的kafka小开发,首先需要在本地做一些相关环境的配置。

weixin_42496486的博客 884

Apache Kafka UI :一款功能丰富且美观的 Kafka 开源管理平台!!

对数据使用现成的 Serde。

java_121388的博客 1891

Kafka ui 搭建以及使用

kafka 本身没有自带相关的 ui 界面,但是很多时候没有页面意味着只有使用命令行进行相关操作如创建 topic、更改 topic 信息、重置 offset 等等。但实际使用中这种效果很差劲,我们一般还是会借助其他软件,实现对 kafka 的页面管控。结合这张图与实际体验,推荐大家使用 ui for apache kafka 进行 kafka 的 ui 界面化管理。其实 kafka-ui 是没有安装过程的,在 github 上已经打包成了 jar 包,当前最新版本为 ,下载地址如下:https://git

青冬的博客 2万+

kafka管理工具之kafka-ui的环境搭建笔记

kafka-ui是一款管理kafka的工具,基于web的模式,一款优秀的开源项目。本文是在搭建kafka-ui的本地环境时,遇到的各种问题,现将其解决办法记录于此。

IT布道 6921

探索Lenses.io的Schema Registry UI:一个强大的数据治理工具

探索Lenses.io的Schema Registry UI:一个强大的数据治理工具 项目简介 是一个开源的数据治理界面,专门为那些处理结构化数据流的开发者和数据工程师设计。它提供了一个直观、易用的界面,用于管理、查看和验证Avro、 Protobuf 和 JSON Schema,让你的数据标准化流程更加高效。 技术分析 1. 支持多种Schema格式: 该项目支持三种广泛使用的Schema格式:...

gitblog_00032的博客 427

kafka自带没web ui界面,怎么办?安装个第三方的

      见 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口)     ...

weixin_33813128的博客 1387

服务器kafka安装配置和工具连接

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

不知所终的博客 1435

探索 Kafka 领域的新工具:Kafka Topics UI

探索 Kafka 领域的新工具:Kafka Topics UI 项目简介 是一个轻量级、直观的 Web 应用程序,由 Landoop 团队开发,旨在提供一种简单易用的方式来管理 Apache Kafka 的主题。通过浏览器界面,你可以轻松地监控、创建、修改和删除 Kafka 集群的主题,而无需直接操作命令行或编写复杂的脚本。 技术分析 Kafka Topics UI 基于现代前端框架构建,采用 R...

gitblog_00045的博客 549
上一篇: CDC系列(二)、Maxwell_v1.27.1 监控MySQL操作日志实时同步到Kafka
下一篇: Kafka系列(七)、Kafka套件 Confluent Platform 单机/集群部署
王义凯_Rick
王义凯_Rick 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄14年 858粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘,路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值