kafka安装配置

最新推荐文章于 2024-07-05 10:42:34 发布

/home/liupc

最新推荐文章于 2024-07-05 10:42:34 发布

阅读量193

点赞数

分类专栏： 8 大数据

8 大数据专栏收录该内容

7 篇文章

订阅专栏

本文详细介绍了Kafka集群的部署规划、过程及开启步骤。使用CentOS7.2作为操作系统，部署kafka_2.10-0.8.2.1版本。包括下载、解压、配置server.properties文件、设置环境变量等关键步骤，以及依赖于Zookeeper服务的启动流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

########1 部署规划############
操作系统：CentOS 7.2
kafka版本：kafka_2.10-0.8.2.1
安装路径: /opt/kafka_2.10-0.8.2.1
节点：192.168.20.100~105

整理人：wh

########2 部署过程############

2.1 下载
$ wget et http://apache.fayea.com/kafka/0.8.2.1/kafka_2.10-0.8.2.1.tgz

2.2 解压
$ tar -zxvf kafka_2.10-0.8.2.1.tgz

2.3 修改配置文件server.propertperties
broker.id=0 //每个broker对应一个id
log.dirs=/mnt/volume_m/logs/kafka //kafka日志目录
zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181,zookeeper4:2181,zookeeper5:2181/kafka
//在zookeeper下的目录
2.4 配置环境变量
在/etc/profile.d下创建下创建kafka.sh,写入:
export KAFKA_HOME=/opt/kafka
export PATH=$KAFKA_HOME/bin:$PATH
配置完成后使用source使环境变量生效。

########3 开启kafka#############
kafka服务依赖zookeeper服务，所以开启kafka需要zookeeper服务已启动，并在zookeeper下建好目录，目录对应之前server.propertperties中的zookeeper.connect配置

在每个节点执行：
$ kafka-server-start.sh $KAFKA_HOME/config/server.propertperties &