kafka：linux 安装 kafka集群

最新推荐文章于 2025-05-28 19:06:45 发布
原创 最新推荐文章于 2025-05-28 19:06:45 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #消息中间件 #队列 #MQ #kafka

本文详细介绍了在Linux系统中如何安装和配置Kafka、Zookeeper，包括下载对应版本，设置环境变量，修改配置文件，以及启动和检查服务状态。同时，文章还涵盖了安装Kafka-eagle这一可视化工具的过程，用于监控和管理Kafka集群，包括连接MySQL数据库的配置和启动方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

kafka运行依赖于 jdk、zookeeper，kafka可视化工具选择kafka-eagle。所以要装的组件有：jdk、zookeeper、kafka、kafka-eagle

一、安装jdk

下载linux版本的jdk包，比如：jdk-8u192-linux-x64.tar.gz。

将其复制到 /opt 目录下并解压：tar -zxvf jdk-8u192-linux-x64.tar.gz

添加环境变量：vi /etc/profile 然后在末尾插入以下内容

export JAVA_HOME=/opt/jdk1.8.0_192

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$JAVA_HOME/bin:$PATH

再运行 source /etc/profile 重新加载环境变量即可，可用java -version测试jdk是否安装成功

二、安装运行zookeeper

1、下载zookeeper，下载地址：Apache ZooKeeper

这里为了测试对接方的kafka，直接选择下载旧版本的apache-zookeeper-3.5.8-bin.tar.gz，并将之复制到/opt/zookeeper目录下。

2、在/opt/zookeeper目录下运行以下命令启动zookeeper：

tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz
cd apache-zookeeper-3.5.8-bin
cp conf/zoo_sample.cfg conf/zoo.cfg
sh /opt/zookeeper/apache-zookeeper-3.5.8-bin/bin/zkServer.sh start

3、检查是否启动，使用 jps -l 可以看到zookeeper启动

4、若启动失败则可以看 /opt/zookeeper/apache-zookeeper-3.5.8-bin/logs下的日志

这里报8080端口被占用，就改下配置，配置文件为/opt/zookeeper/apache-zookeeper-3.5.8-bin/conf/zoo.cfg，再里面添加一行：admin.serverPort=8081，如下图所示：

再次启动：sh /opt/zookeeper/apache-zookeeper-3.5.8-bin/bin/zkServer.sh start，用jsp -l可以看到启动成功。

若需要关闭zookeeper，运行命令：sh /opt/zookeeper/apache-zookeeper-3.5.8-bin/bin/zkServer.sh stop

三、安装运行kafka

1、下载kafka，地址：Apache Kafka

将该文件复制到 /opt/kafka 文件夹中

2、修改配置文件，在/opt/kafka目录下运行以下命令：

tar -vxzf kafka_2.11-2.4.0.tgz
vi /opt/kafka/kafka_2.11-2.4.0/config/server.properties

修改server.properties如下属性：

broker.id=0
listeners=PLAINTEXT://192.168.189.128:9092
zookeeper.connect=192.168.189.128:2181
log.dirs=/opt/kafka/kafka_2.11-2.4.0/tmp/kafka-logs

3、启动kafka，具体命令如下：

启动：sh /opt/kafka/kafka_2.11-2.4.0/bin/kafka-server-start.sh -daemon /opt/kafka/kafka_2.11-2.4.0/config/server.properties

查看日志：cat /opt/kafka/kafka_2.11-2.4.0/logs/server.log

停止：sh /opt/kafka/kafka_2.11-2.4.0/bin/kafka-server-stop.sh

可以看到kafka启动成功

4、在当前机器/opt/kafka目录类似上述操作，再复制或解压出两个kafka包，修改配置，然后启动即可。相关命令如下：

sh /opt/kafka/kafka_2.11-2.4.0/bin/kafka-server-stop.sh
rm -fr /opt/kafka/kafka_2.11-2.4.0/logs
rm -fr /opt/kafka/kafka_2.11-2.4.0/tmp
cp -rfp /opt/kafka/kafka_2.11-2.4.0 /opt/kafka/kafka_2.11-2.4.0_1
vi /opt/kafka/kafka_2.11-2.4.0_1/config/server.properties
sh /opt/kafka/kafka_2.11-2.4.0_1/bin/kafka-server-start.sh -daemon /opt/kafka/kafka_2.11-2.4.0_1/config/server.properties
cp -rfp /opt/kafka/kafka_2.11-2.4.0 /opt/kafka/kafka_2.11-2.4.0_2
vi /opt/kafka/kafka_2.11-2.4.0_2/config/server.properties
sh /opt/kafka/kafka_2.11-2.4.0_2/bin/kafka-server-start.sh -daemon /opt/kafka/kafka_2.11-2.4.0_2/config/server.properties

可以看到 zookeeper和3个kafka都启动了。

另外，可用zookeeper客户端查看kafka节点：

sh /opt/zookeeper/apache-zookeeper-3.5.8-bin/bin/zkCli.sh
ls /brokers/ids

注意，关闭kafka集群，只要运行其中一个kafka的bin目录下的kafka-server-stop.sh即可，但启动，需要将这些kafka的bin目录下的kafka-server-start.sh都运行。

以上这些步骤可以说kafka已经安装完毕了，就可以用各语言的API去连接kafka了。以下步骤安装kafka可视化工具：kafka-eagle。

四、安装运行kafka-eagle

  1. 下载kafka-eagle，下载地址：https://www.kafka-eagle.org/

将下载的文件(kafka-eagle-bin-2.1.0.tar.gz)放到 /opt/kafka-eagle目录下，并解压

tar -vxzf /opt/kafka-eagle/kafka-eagle-bin-2.1.0.tar.gz -C /opt/kafka-eagle
tar -vxzf /opt/kafka-eagle/kafka-eagle-bin-2.1.0/efak-web-2.1.0-bin.tar.gz -C /opt/kafka-eagle/kafka-eagle-bin-2.1.0
vi /opt/kafka-eagle/kafka-eagle-bin-2.1.0/efak-web-2.1.0/conf/system-config.properties

编辑内容如下：

efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.189.128:2181
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=root

可以看到需要连接mysql，我这里是直接用docker安装运行mysql的，具体命令如下：

docker run -itd --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=root mysql:5.7

2、设置环境变量：

vi /etc/profile

文件里添加如下变量：

export KE_HOME=/opt/kafka-eagle/kafka-eagle-bin-2.1.0/efak-web-2.1.0

KE_PATH=$PATH:$KE_HOME/bin

export KE_PATH

更新环境变量：

source /etc/profile

3、启动kafka-eagle：

sh /opt/kafka-eagle/kafka-eagle-bin-2.1.0/efak-web-2.1.0/bin/ke.sh start

启动成功，再访问网址：192.168.189.128:8048，账号：admin，密码：123456

可以看到页面能成功访问

kafka集群各节点的brokerid、ip和port都可以看到。

若要关闭efak，则运行命令：sh/opt/kafka-eagle/kafka-eagle-bin-2.1.0/efak-web-2.1.0/bin/ke.sh stop

linux中Kafka集群的安装
qq_53983765的博客
11-08 1071
kafka安装步骤；kafka安装报错内存不足：Java HotSpot(TM) 64-Bit Server VM warning:INFO:os::commit_memory(0....) feiled;error=’Cannot allocate memory’(error=1，kafka创建topic报错：Exception in thread “mian” joptsimple.UnrecognizedOptionEception:partion is not a recognized option
Linux 下 kafka 集群部署
qq_59998784的博客
07-03 3684
本文将以三台服务器为例，介绍在 linux 系统下kafka的部署方式。
linux上安装kafka集群
xungxingzhihuolc的博客
05-15 376
在 192.168.191.5 hadoop5上 注先 vim /etc/hosts 192.168.191.5 hadoop5 192.168.191.9 hadoop9 192.168.191.11 hadoop11 配置环境变量： （1）vi /etc/profile export ZOOKEEPER_HOME=/usr/local/software/zookeeper-3.4.10 export PATH=$PATH:${JAVA_HOME}/bin:$ZOOKEEPER_H...
Linux Kafka zookeeper模式和kraft模式集群搭建
最新发布
hayhead的博客
05-28 472
kafka集群搭建
Linux下 kafka集群安装
上善若水
04-12 1247
环境：CentOS 7虚拟机两台，分别为：192.168.31.224和192.168.31.225 1、安装之前先安装jdk和zookeeper 2、下载 kafka_2.12-1.1.0.tgz，下载地址为：https://mp.youkuaiyun.com/mdeditor 3、解压kafka_2.12-1.1.0.tgz，使用命令tar -zxvf kafka_2.12-1.1.0.tgz,解压...
在Linux上安装Kafka集群(kafka_2.12-2.8.0)
zhangbeizhen18的博客
06-11 2863
记录：456 场景：在CentOS 7.9操作系统上，使用kafka_2.12-2.8.0版本，在三台机器上，安装Kafka集群。使用Zookeeper集群作为Kafka集群的节点注册与协同管理。
Kafka： Linux环境-单机部署和伪集群、集群部署
喜欢历史的码农
11-26 473
（2）修改配置，此配置用于消息发布与订阅的ip。将listeners的ip修改为当前部署kafka的服务器ip。和kafka压缩包，先下载zookeeper，如下。">"后后面的内容就是新建的topic。standalone代表单机启动。（4）新建topic并查看状态。（5）生产消息和消费消息。（2）启动并查看状态。（3）启动kafka。
Kafka 在 Linux 下的集群配置和安装
J老熊
09-26 1852
本文详细介绍了在 Linux 环境中配置和安装 Kafka 集群的过程，包括每个配置项的说明和常见故障的排查方法。通过这些步骤，您可以轻松地构建一个可靠的 Kafka 集群，支持大规模数据流处理和实时数据传输。希望这篇文章能够帮助您顺利搭建和管理 Kafka 集群。
Linux下Kafka分布式集群安装教程
09-15
为了在Linux环境下安装Kafka集群，首先需要准备好以下环境： - **操作系统**：本教程选择使用CentOS 7.2作为操作系统。 - **Zookeeper集群**：Kafka依赖于Zookeeper来管理集群状态，推荐使用独立的Zookeeper集群而非...
kafka学习（一）：Kafka集群安装及踩坑
ENffort的博客
06-19 2079
kafka环境安装，包括：jdk、zookeeper集群、scala、kafka集群安装及运行，并设置zookeeper和kafka的开机启动
Linux 安装 kafka
qq_42923937的博客
03-04 7061
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
Linux下安装Kafka
NAMELI的博客
06-29 5491
zookeeper.connect：申明kafka所连接的zookeeper的地址，需配置为zookeeper的地址，由于本次使用的是kafka高版本中自带zookeeper，使用默认配置即可。添加开放端口：firewall-cmd --zone=public --add-port=80/tcp --premanent （–premanent永久生效，没有此参数，重启后失效）查看开放端口：firewall-cmd --list-port。重新载入规则：firewall-cmd --reload。
Linux 安装kafka集群
xiaTianCsDN的博客
05-07 1182
环境： CentOS 6.5 kafka_2.11-2.2.0 前提是需要安装zookeeper，本文不再赘述，详细安装请参照：https://blog.youkuaiyun.com/xiaTianCsDN/article/details/89917836 下载Linux版的kafka安装包 http://kafka.apache.org/downloads 下载完成之后通过ftp上传到linux服务器指定目...
linux kafka集群 安装
WQQ72600的博客
05-09 302
ww
LINUX kafka 集群安装
熊桂生的博客
05-16 662
1、准备工作下载地址: Kafka官网地址: http://kafka.apache.org/ 2、开始安装    1、把下载好的kafka压缩包上传到服务器上/tmp上        2、解压kafka的安装包：tar -xzvfkafka_2.11-0.9.0.1.tgz        3、把kafka包移动到目录/usr/local; mv kafka_2.11-0.9.0.1/usr/lo...
linux下kafka集群安装部署
qq_41389315的博客
05-24 974
目录一、jdk环境二、zookeeper安装1.[zookeeper官网下载](https://zookeeper.apache.org/releases.html)2.zookeeper解压(1) tar.gz解压(2) 设置软连接或修改别名3.zookeeper配置(1) 备份zoo.cfg文件(2) 配置zoo.cfg文件(3) 创建myid4.zookeeper启动二、kafka安装1.[kafka官网下载](http://kafka.apache.org/downloads)2.kafka解压(1
关于Linux集群安装kafka
qq_44003931的博客
05-19 243
xsync脚本 xsync （文件） 将文件从hdp1复制的hdp2、hdp3集群 xcall脚本 在hdp1 上可以查看 所有集群jps mykafka脚本 启动kafka myzk.sh启动zookeeper cd /opt/kafka_2.11-2.4.1/bin目录下 创建主题 ./kafka-topics.sh --bootstrap-server hdp1:9092,hdp2:9092,hdp3:9092 --create --topic te...
Linux系统下安装kafka
小慌慌的博客
11-23 237
Linux系统下安装kafka 1、解压 tar -zxvf kafka_2.12-2.3.1.tgz 2、移动文件夹 mv kafka_2.12-2.3.1 /usr/local/ 3、修改配置文件 cd /usr/local/kafka_2.12-2.3.1/config vi server.properties ,对应内容修改为： listeners=PLAINTEXT://服务器ip:9092 log.dirs=/usr/local/kafka_2.12-2...
Linux安装Kafka
perturb的博客
04-07 2631
kafka简介： kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。 kafka的安装： 1.下载kafka到本地（tgz版本） 官网：Apache Kafka 2.在usr/local中新建kafka文件夹 mkdir kafka 3.将下载好的包拖入kafka文件夹中 4.解压kafka_2.11-2.4.0.tgz [root@VM-16-8-centos local]# c...
kafka集群 linux安装教程
01-15
### 关于在Linux系统上安装Kafka集群的步骤 #### 环境准备 选择适合的Linux操作系统，并确保已安装JDK。此外，准备好Zookeeper集群是必要的，因为Kafka集群依赖于Zookeeper进行协调管理[^1]。 #### 下载并解压Kafka安装包 从Apache Kafka官方网站下载最新版本的Kafka安装包，并将其解压缩至适当的位置。这一步骤对于后续配置至关重要[^4]。 #### 配置Kafka集群 进入Kafka配置目录，定位`server.properties`文件，并对其进行相应设置。重点在于调整Broker ID、监听端口号、日志保存路径以及指定Zookeeper地址等内容；特别注意的是，在多节点部署情况下要保证各Broker拥有独一无二的身份标识符(ID)。 ```bash # 修改 server.properties 文件示例 broker.id=0 listeners=PLAINTEXT://:9092 log.dirs=/tmp/kafka-logs zookeeper.connect=localhost:2181 ``` #### 启动Kafka集群 依次在各个节点上启动Kafka服务。利用官方提供的脚本来完成这项工作，并确认每台机器上的进程均已正确运行起来。可以通过命令行工具来检验是否一切正常运作。 ```bash # 启动Kafka Broker bin/kafka-server-start.sh config/server.properties & ``` #### 验证集群状态 借助Kafka自带或其他第三方客户端软件测试整个系统的健康状况。具体操作包括但不限于检查现有Topic列表、Partition分布情况及其Replica副本数量等细节信息，还有Producer与Consumer之间的交互情形也应纳入考量范围之内。 ```bash # 列出所有主题 bin/kafka-topics.sh --list --bootstrap-server localhost:9092 # 创建新主题 bin/kafka-topics.sh --create --topic test-topic --partitions 3 --replication-factor 1 --bootstrap-server localhost:9092 # 发送消息到特定主题 echo "This is a message" | bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092 # 消费来自某个主题的消息 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

龙行天下_LXTX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值