Docker-compose编排部署Kafka伪分布式集群(为后续实验搭建基础环境)

最新推荐文章于 2024-07-30 18:44:55 发布

原创

最新推荐文章于 2024-07-30 18:44:55 发布 · 477 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #docker

本文档介绍了如何在MAC环境下，利用docker-compose搭建Kafka的伪分布式集群。首先确保拥有docker 19.03.4和docker-compose version 1.24.1，以及JDK 1.8+。不使用Kafka自带的Zookeeper，而是外部部署Zookeeper。通过Dockerfile构建Kafka镜像，并编写docker-compose.yml文件以模拟分布式部署。在构建过程中，需要修改各节点的server.properties文件，并将配置文件与数据目录映射到主机。最后，通过docker-compose up -d启动集群，并使用docker ps检查运行状态。

本实验参照官网http://kafka.apache.org/documentation/ 构建,为后续了解kafka应用做环境准备。

搭建环境：

MAC10.15
docker 19.03.4
docker-compose version 1.24.1
jdk1.8以上(对于kafka2.x以上版本已遗弃对jdk1.7的支持)
zookeeper-3.4.14(这里没使用kafka自带zk,而使用外置zk,这里zk依旧是部署在docker中,关于这块可通过其它板块了解)
kafka2.x以上版本(我是通过下载tar包部署安装下载地址:http://kafka.apache.org/downloads选择指定版本)

如果对docker没什么大体概念,可百度，google一下，后续会提供对docker一些基本常规认知。

整体步骤：

1:先构建kafka镜像文件，这里我通过Dockerfile文件自身构建(也可采用docker官方标准镜像包)，Dockerfile文件如下所示

##使用jdk1.8

FROM java1.8/v1

MAINTAINE  xxx xxx@163.com

##当前kafka版本

ARG kafka_version="kafka_2.12-2.3.0"

##新建kafka用户

RUN groupadd -r kafka && useradd -r -g kafka kafka

##暴露9200端口

EXPOSE 9092

WORKDIR /u