使用docker-compose部署zookeeper和kafka集群

最新推荐文章于 2025-03-02 15:14:54 发布

whoamnew

最新推荐文章于 2025-03-02 15:14:54 发布

阅读量2.4k

点赞数 1

文章标签： kafka zookeeper

本文链接：https://blog.youkuaiyun.com/whoamnew/article/details/110131152

版权

本文介绍了如何使用docker-compose在虚拟环境中搭建zookeeper和kafka集群。首先，概述了集群的总体架构，接着详细阐述了搭建步骤，包括安装docker、拉取镜像、创建集群网络、部署zookeeper和kafka，以及解决过程中遇到的JMX端口错误和容器自动退出等问题。通过测试验证了集群已成功搭建。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、总体架构描述

虚拟机	centos7
kafka（三节点：broker1,broker2,broker3）	IP:172.23.0.14,172.23.0.15,172.23.0.16
zookeeper（三节点：zoo1,zoo2,zoo3）	IP:172.23.0.11,172.23.0.12,172.23.0.13

ip均为docker内构建的虚拟静态地址。

二、搭建步骤

（一）虚拟机内搭建好安装好docker；
（二）拉取镜像

docker pull wurstmeister/kafka
docker pull zookeeper:3.4
docker pull sheepkiller/kafka-manager:latest

【遇到的问题及解决】
pull镜像很慢，然后

##使用阿里云镜像加速器
[root@localhost ~]# mkdir -p /etc/docker
[root@localhost ~]# tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://9cpn8tt6.mirror.aliyuncs.com"]
}
EOF
[root@localhost ~]# systemctl daemon-reload
[root@localhost ~]# systemctl restart docker

（三）创建集群虚拟网络

docker network create --driver bridge --subnet 172.23.0.0/16 --gateway 172.23.0.1 zoo_kafka

查看网络

[root@localhost kafka]# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
2930abd42b08        bridge              bridge              local
6bf68d1f8d9f        host                host                local
b941fd14364a        kafka               bridge              local
4910af7c6c6f        none                null                local
0a0931acdf04        viemall-zookeeper   bridge              local
e8a38e297f2d        zoo_kafka           bridge              local