Linux 安装kafka集群

最新推荐文章于 2025-11-18 11:02:37 发布

原创最新推荐文章于 2025-11-18 11:02:37 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#linux #kafka

Linux相关知识专栏收录该内容

15 篇文章

订阅专栏

本文介绍在CentOS 6.5环境下安装Linux版Kafka的过程。前提需安装Zookeeper，先从官网下载Kafka安装包并上传到服务器指定目录，接着解压安装包、创建日志文件夹并修改配置文件，最后启动Kafka服务，同时要确保端口可访问。

环境：

CentOS 6.5
kafka_2.11-2.2.0

前提是需要安装zookeeper，本文不再赘述，详细安装请参照：https://blog.youkuaiyun.com/xiaTianCsDN/article/details/89917836

下载Linux版的kafka安装包

http://kafka.apache.org/downloads

下载完成之后通过ftp上传到linux服务器指定目录下，比如：/usr/local/kafka_2.11-2.2.0.tgz

安装集群在每个节点上的安装步骤基本上都是一样的，我以一个节点为例

解压安装包：

cd /usr/local
tar -zxvf kafka_2.11-2.2.0.tgz

为了方便简单我使用了重命名

mv kafka_2.11-2.2.0 kafka

进入到kafka安装目录下创建kafka日志文件夹并修改kafka配置文件

cd /usr/local/kafka
mkdir logs
cd /usr/local/kafka/config/
vim server.properties

详细配置如下(红色代表必须配置)：
broker.id=0,1,2 //分别代表0,1,2三个集群节点中各个节点服务器配置broker.id，不能设置成相同
listeners=PLAINTEXT://192.168.1.151:9092 //分别绑定各节点服务器ip地址
log.dirs=/usr/local/kafka/logs //kafka日志存放路径
num.partitions=1 //默认即可
zookeeper.connect=node01:2181,node02:2181,node03:2181 //zookeeper集群连接

启动kafka服务(注意：启动kafka之前必须先启动zookeeper服务)

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

后台启动

nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties 1>/dev/null 2>&1 &

查看服务是否启动成功
1，各个节点服务器上查看kafka端口是否启用(默认端口：9092)

netstat -ntlp

在这里插入图片描述
2，通过jps查看

jps

在这里插入图片描述
为了保证端口能被访问需要开放端口或者关闭防火墙，我选择的是关闭防火墙

service iptables stop

至此一个节点上的安装就完成了，照此步骤安装其他节点一样的