从零开始安装使用Kafka-Eagle 监控_kafka eagle使用教程-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_62049041/article/details/143692405

Kafka-Eagle 框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。

在生产过程中，想创建topic、查看所有topic、想查看某个topic 想查看分区等，都需要写命令，能不能有一个图形化的界面，让我们操作呢？

1.MySQL 环境准备

Kafka-Eagle 的安装依赖于 MySQL，MySQL 主要用来存储可视化展示的数据。如果集

群中之前安装过 MySQL 可以跨过该步。

2 Kafka 环境准备

1）关闭 Kafka 集群

kf.sh stop

2）修改/opt/installs/kafka3/bin/kafka-server-start.sh 命令中

vi bin/kafka-server-start.sh

修改如下参数值：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then 
 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" 
fi

为

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
 export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
 export JMX_PORT="9999"
 #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

修改之后在启动 Kafka 之前要分发之其他节点

xsync.sh kafka-server-start.sh

3 Kafka-Eagle 安装

0）官网：https://www.kafka-eagle.org

1）上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群/opt/modules 目录

2）解压到本地

tar -zxvf kafka-eagle-bin-2.0.8.tar.gz

3）将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs

cd kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/

4）修改名称

mv efak-web-2.0.8/ efak

5）修改配置文件 /opt/installs/efak/conf/system-config.properties

vi system-config.properties
#修改如下：
# offset 保存在 kafka 
cluster1.efak.offset.storage=kafka

efak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

# 修改数据库连接：&serverTimezone=GMT  时区一定要写，否则报405错误！
# 127.0.0.1 = localhost   hosts文件中定义的
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT
efak.username=root
efak.password=123456

7）添加环境变量

# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/bin

刷新环境变量source /etc/profile

连接linux本地的数据库

新建一个数据库，叫做ke

8）启动

（1）注意：启动之前需要先启动 ZK 以及 KAFKA。

zk.sh start
kf.sh start

xcall.sh zkServer.sh start
kf.sh start

（2）启动 efak

bin/ke.sh start

连接http：192.168.52.11.8048即可使用

假如启动无法访问，怎么办？查看日志，必定有答案！

使用的时候，一定要在配置文件中编写正确的路径，否则kafka集群没办法连接：

cluster1.zk.list=hadoop11:2181,hadoop12:2181,hadoop13:2181/kafka
cluster2.zk.list=hadoop11:2181,hadoop12:2181,hadoop13:2181/kafka

查看可视化大屏的时候：

        1、同步一下时间 systemctl restart chronyd
        2、要开启消费者
        3、要开发生产者
        4、关闭flume (选项)
        5、如果都没效果，可以添加一句话在zkServer.sh 中
        ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
        全部重启一下，这些服务

要想看到大屏数据，此处的JMX必须是上线状态：