Linux下kafka单机配置

允许部分艺术家先富起来1

已于 2022-06-07 22:07:01 修改

阅读量351

点赞数

文章标签： kafka linux zookeeper

于 2022-06-07 21:55:47 首次发布

本文链接：https://blog.youkuaiyun.com/qq_44220795/article/details/125174244

版权

文章目录

配置JAVA环境（JDK）
配置zookeeper
配置kafka

适用于有一定Liunx基础的人，0基础直接右上角

适用于有一定Liunx基础的人，0基础直接不用看

适用于有一定Liunx基础的人，0基础直接找别的

java8+zookeeper+kafka网盘下载链接

链接：https://pan.baidu.com/s/1cWk9M2EAwQu7c1lj7UyqSA
提取码：d41f

配置JAVA环境（JDK）

将jdk.tar.gz放入文件夹中

cd /usr/local

解压

tar -zxvf jdk-8u211-linux-x64.tar.gz

配置环境变量

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_211
export JRE_HOME=/usr/local/jdk1.8.0_211/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

生效配置

source /etc/profile

测试

java -version
jps

配置zookeeper

将下载好的压缩包放到/usr/local/zookeeper目录下并解压

tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz

在解压目录（与bin同级目录）下新建data、log文件夹

mkdir data
mkdir log

复制conf目录下的zoo_sample.cfg文件为zoo.cfg，并编辑该文件

cp zoo_sample.cfg zoo.cfg
vi zoo_cfg

修改dataDir配置，并添加dataLogIDir配置

dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/log

修改zookeeper的配置文件如图👇

在这里插入图片描述

添加环境变量

vi /etc/profile

添加zookeeper的执行脚本路径

export ZOOKEEPER=/usr/local/zookeeper/zookeeper
export PATH=$ZOOKEEPER/bin:$PATH

使修改完的/etc/profile生效

source /etc/profile

启动zookeeper并查看运行状态

zkServer.sh start
zkServer.sh status

查看zookeeper运行状态

配置kafka

将下载好的安装包放到/usr/local/kafka目录下，并解压

tar -zxvf kafka_2.12-3.0.0.tgz

编辑config/server.propoties文件

vi config/server.propoties
#broker.id属性在kafka集群中必须要是唯一
broker.id= 0
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://192.168.52.100:9092
#kafka的消息存储文件
log.dir=/usr/local/data/kafka-logs
#kafka连接zookeeper的地址
zookeeper.connect= 192.168.52.100:2181

添加环境变量

vi /etc/profile

追加kafka的配置

export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin

设置新增的环境变量生效

source /etc/profile

测试

kafka-server-start.sh -daemon config/server.properties

此时可以通过zookeeper的命令行查看broker的id

进入zookeeper的bin目录下，运行zkCli.sh，然后输入ls /brokers/ids

启动kafka

kafka-topics.sh --bootstrap-server 192.168.52.100:9092 --create --topic kafkaTestTopic --partitions 1 --replication-factor 1

# 开启生产者服务，向kafkaTestTopic发送数据
kafka-console-producer.sh --bootstrap-server node1:9092 --topic kafkaTestTopic
# 重新打开一个终端，开启一个消费者服务
kafka-console-consumer.sh --bootstrap-server node1:9092 --topic kafkaTestTopic --from-beginning
# 在生产者控制台输入消息，观测到消费者控制台可接收到数据