linux 虚拟机部署kafka+zookeeper单机方案

Linux虚拟机单机部署Kafka+Zookeeper

背景:

1.这里介绍了如何在Linux系统上安装和配置Apache ZooKeeper3.6.4,以及Kafka3.4.1,
2.包括创建目录、下载安装包、修改配置、添加环境变量、启动服务、编写启动和停止脚本。


1、安装zookeeper服务

注:这里使用zookeeper3.6.4版本

前提:zookeeper运行需要jdk环境,所以需要提前安装好jdk环境。


1.安装jdk环境:

注:这里采用了yum安装jdk的方式:

先查询jdk版本,通过yum命令

[root@xionghj /]# yum -y list *openjdk*
.......

注:这里选择的是

[root@xionghj /]# yum install -y java-1.8.0-openjdk-devel.x86_64
.....

查询jdk环境是否生效:

[root@xionghj /]# java -version
openjdk version "1.8.0_412"
OpenJDK Runtime Environment (build 1.8.0_412-b08)
OpenJDK 64-Bit Server VM (build 25.412-b08, mixed mode)


2.安装zookeeper服务:

创建zookeeper运行目录:

[root@xionghj /]# mkdir -p /usr/local/zookeeper
[root@xionghj /]# chmod 777 /usr/local/zookeeper/

下载zookeeper安装包:

[root@xionghj /]#  wget https://archive.apache.org/dist/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz

解压安装包

[root@xionghj /]# mv apache-zookeeper-3.6.4-bin.tar.gz /usr/local/zookeeper/
[root@xionghj /]# cd /usr/local/zookeeper/

[root@xionghj zookeeper]# tar -zxvf apache-zookeeper-3.6.4-bin.tar.gz
.......


3.修改zookeeper的配置:

[root@xionghj zookeeper]# cd zookeeper-3.6.4/conf/

[root@xionghj conf]# cp zoo_sample.cfg zoo.cfg

[root@xionghj conf]# vim zoo.cfg 

修改的内容如下:

dataDir=/usr/local/zookeeper/zookeeper-3.6.4/data

dateLogDir=/usr/local/zookeeper/zookeeper-3.6.4/logs

clientPort=2181

4.添加全局环境变量配置:

编辑环境变量文件

[root@xionghj conf] vim /etc/profile
#尾部添加如下内容
export ZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.6.4/
export PATH=$ZOOKEEPER_HOME/bin:$PATH
export PATH

#退出保存
:wq

重新执行一下

[root@xionghj conf] source /etc/profile


5.启动并测试zookeeper服务:

进入bin目录

[root@xionghj zookeeper-3.6.4]# cd bin/

启动服务

[root@xionghj bin]# zkServer.sh start
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.6.4/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

查看状态

[root@xionghj bin]# zkServer.sh s
虚拟机(VM)上使用 Kafka 包含部署、配置、启动、测试等一系列流程。 ### 单机部署 可以采用 Linux 虚拟机部署 Kafka + ZooKeeper 单机方案。首先从 https://archive.apache.org/dist/kafka/3.4.1/kafka_2.12 - 3.4.1.tgz 下载 Kafka 安装包,使用 `wget` 命令: ```bash [root@xionghj kafka]# wget https://archive.apache.org/dist/kafka/3.4.1/kafka_2.12-3.4.1.tgz ``` 接着创建 Kafka 安装所需目录,包括存放解压包、数据和日志的目录: ```bash [root@xionghj /]# mkdir -p /opt/kafka [root@xionghj /]# mkdir -p /opt/kafka/kafka_data [root@xionghj /]# mkdir -p /opt/kafka/kafka_log ``` 然后解压并安装 Kafka 服务: ```bash [root@xionghj kafka]# tar -zxvf kafka_2.12-3.4.1.tgz ``` 修改 Kafka 服务配置,进入配置文件目录并编辑 `server.properties` 文件: ```bash [root@xionghj kafka]# cd /opt/kafka/kafka_2.12-3.4.1/config [root@xionghj config ]# vim server.properties ``` 修改以下参数: ```properties broker.id=0 port=9092 host.name=localhost log.dirs=/opt/kafka/kafka_log zookeeper.connect=localhost:2181 ``` 最后启动并测试 Kafka 服务 [^1]。 ### 集群部署 若要搭建集群,从新建 Linux 虚拟机开始,依次进行安装虚拟机、创建虚拟机、配置网络等操作。之后进行搭建集群准备工作,包括安装 JDK,检查是否已安装 openjdk,下载、上传安装包,解压,修改环境变量并检测是否配置成功。搭建 ZooKeeper 集群,需完成下载、上传、解压、配置、启动集群和查看启动状态等步骤。搭建 Kafka 集群则要进行下载、上传、解压、更改文件夹名称、新建 logs 文件夹、修改配置文件,将修改后的文件扩展到其他节点,最后启动 Kafka。使用 Kafka 时,可以创建 topic、查看 topic 及其详细信息、发送和接收消息以及删除 topic 等操作 [^2]。 ### 测试 Kafka 可以使用以下命令进行测试: ```bash bin/kafka-console-consumer.sh --bootstrap-server hdp-1:9092,hdp-2:9092,hdp-3:9092 --topic test --from-beginning ``` 此命令可从指定的 Kafka 集群的 `test` 主题开始接收消息 [^3]。 ### 解决访问问题 在虚拟机上搭建 Docker Kafka 时,若宿主机器程序无法访问,可通过 `-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://139.226.179.239:9092` 将 Kafka 的地址端口注册给 ZooKeeper,若要远程访问需将其改成外网 IP [^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jiang0615csdn

你对鼓励是我最大的动力来源

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值