Kafka-Eagle 监控的安装与使用及Kafka-UI界面的安装----构建高效的 Kafka 集群监控体系

最新推荐文章于 2025-01-04 14:38:39 发布

原创

最新推荐文章于 2025-01-04 14:38:39 发布 · 1k 阅读

24 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #ui #分布式

在大数据处理的世界中，Kafka 作为一款强大的分布式消息队列系统，广泛应用于数据传输与处理的各个环节。然而，在生产环境中，对 Kafka 集群的有效监控至关重要。本文将详细介绍如何使用 Kafka-Eagle 框架来监控 Kafka 集群，以及相关的安装与配置步骤，帮助大家构建一个稳定且可视化的监控环境。

一、Kafka-Eagle 概述

Kafka-Eagle 框架为我们提供了便捷的图形化界面，使我们无需再依赖繁琐的命令行操作来管理 Kafka 集群。它能够直观地展示集群的整体运行情况，包括创建 topic、查看 topic 信息、分区详情等，极大地提高了我们的运维效率。

二、环境准备

MySQL 环境准备

Kafka-Eagle 的安装依赖于 MySQL，其主要用于存储可视化展示的数据。如果集群中已安装 MySQL，则可跳过此步骤。否则，需先安装并配置好 MySQL 服务，确保其正常运行。

Kafka 环境准备

首先关闭 Kafka 集群，执行命令

kf.sh stop

接着修改 /opt/installs/kafka3/bin/kafka-server-start.sh 命令中的参数：

将原参数

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
  export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

修改为

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
  export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
  export JMX_PORT="9999"
  #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

修改完成后，在启动 Kafka 之前要将 kafka-server-start.sh 分发到其他节点，使用命令