kafka（03）——kafka的安装配置

最新推荐文章于 2024-04-29 17:53:16 发布

原创最新推荐文章于 2024-04-29 17:53:16 发布 · 257 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka

kafka 专栏收录该内容

8 篇文章

订阅专栏

本文详细介绍如何在三台机器上搭建Kafka集群，包括Zookeeper的启动、Kafka安装包的选择与解压、配置文件的修改、集群的启动等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、三台机器启动zookeeper

bin/zkServer.sh  start

2、下载并解压

下载kafka安装包

http://archive.apache.org/dist/kafka/
最新版本为2.0，这里选择1.0.0版本进行安装测试。
在这里插入图片描述

上传压缩包并解压

上传压缩包到指定目录（这里先选择第一台设备node01），并进行解压

tar -zvxf kafka_2.11-1.0.0.tgz -C /export/servers

3、修改配置文件

修改kafka配置文件server.properties

 broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node01

4、将node01的安装包发送到其他设备

cd /export/servers

scp -r kafka_2.11-1.0.0/ node02:$PWD
scp -r kafka_2.11-1.0.0/ node03:$PWD

5、修改node02/node03配置文件

分别修改node02/node03的配置文件：server.properties

node02修改配置文件

broker.id=1
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node02

node03修改配置文件

broker.id=2
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/servers/kafka_2.11-1.0.0/logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node03

6、启动kafka集群

cd /export/servers/kafka_2.11-1.0.0

nohup bin/kafka-server-start.sh config/server.properties  2>&1 &

也可以将kafka添加到环境变量中。