Kafka Eagle分布式模式

1.概述

最近有同学留言，Kafka Eagle的分布式模式功能怎么使用，如何部署安装？今天笔者就为大家来详细介绍一下Kafka Eagle的分布式模式功能的安装和使用。

2.内容

首先，这里我们需要说明一下，Kafka Eagle已经更名为EFAK（Eagle For Apache Kafka）。感谢Apache Kafka PMC的认可，EFAK将继续提供和开发新功能，来满足Kafka集群和应用的相关监控和管理功能。

2.1 背景

当我们管理Kafka多集群或者一个规模较大的Kafka集群时，单机模式的EFAK部署时，运行的多线程任务，相关消费者、Topic、生产者、Broker & Zookeeper的监控指标等内容调度时，部署EFAK的服务器如果配置较低，会造成很大的负载，对CPU的负载会很高。为了解决这类问题，EFAK开发了分布式模式的部署，可由多个低配置的服务器来组件一个EFAK集群。来对Kafka多集群进行监控和管理。

2.2 基础环境

部署EFAK所需要的基础环境如下：

2.2.1 硬件和操作系统

• 操作系统：Linux系统即可（Ubuntu、CentOS等）
• JDK：JDK8以上
• CPU：1核以上
• 内存：2GB以上

2.2.2 EFAK安装包

EFAK安装包，目前官网上以及发布了最新的v2.0.9版本，支持分布式模式部署。可以直接下载到Linux服务器进行安装和部署使用。如果需要自行编译部署，可以到Github下载源代码进行编译部署：

• 方式一：官网下载v2.0.9安装包
• 方式二：Github下载源代码，参考README说明进行编译

2.3 安装部署

EFAK分布式模式部署，这里以5个节点为例子（1个Master和4个Slave），各个节点的角色如下如所示：

 

 

2.3.1 配置EFAK环境

首先，我们定义一个服务器为Master节点，在Master节点上下载EFAK安装包，并配置EFAK所需要的环境变量，具体内容如下所示：

# 编辑环境变量文件vi ~/.bash_profile

# 添加如下内容

# 添加JDK环境，建议使用JDK8以上

export JAVA_HOME=/data/soft/new/jdk

# 添加EFAK环境

export KE_HOME=/data/soft/new/efak

export PATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin

然后执行source ~/.bash_profile命令使配置环境变量立即生效。

2.3.2 配置EFAK系统文件

在EFAK的conf目录下有两个配置系统的文件，它们分别是：

• system-config.properties：用来配置EFAK系统相关内容，比如启动端口、Zookeeper地址、Kafka安全认证信息、数据库存储地址等；