docker-compose搭建kafka集群

最新推荐文章于 2025-05-08 22:37:04 发布
最新推荐文章于 2025-05-08 22:37:04 发布
阅读量1.6k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： docker 文章标签： kafka zookeeper docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangxiaoyan2/article/details/106272945
本文详细介绍了如何使用Docker和docker-compose构建ZooKeeper与Kafka集群，包括集群规划、创建目录、配置文件设置、网络创建、docker-compose.yml文件编写及集群启动过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.集群规划

zk1192.168.88.3:2181
zk2192.168.88.3:2182
zk3192.168.88.3:2183
kafka1192.168.88.3:9092
kafka2192.168.88.3:9093
kafka3192.168.88.3:9094

2.创建目录

mkdir -p /home/wangyan/zookeeper/zk1/conf &&

mkdir -p /home/wangyan/zookeeper/zk1/data &&

mkdir -p /home/wangyan/zookeeper/zk1/log &&

mkdir -p /home/wangyan/zookeeper/zk2/conf &&

mkdir -p /home/wangyan/zookeeper/zk2/data &&

mkdir -p /home/wangyan/zookeeper/zk2/log &&

mkdir -p /home/wangyan/zookeeper/zk3/conf &&

mkdir -p /home/wangyan/zookeeper/zk3/data &&

mkdir -p /home/wangyan/zookeeper/zk3/log &&

mkdir -p /home/wangyan/kafka/kafka1/conf &&

mkdir -p /home/wangyan/kafka/kafka1/log &&

mkdir -p /home/wangyan/kafka/kafka2/conf &&

mkdir -p /home/wangyan/kafka/kafka2/log &&

mkdir -p /home/wangyan/kafka/kafka3/conf &&

mkdir -p /home/wangyan/kafka/kafka3/log;

配置文件:

zk1 zoo.cfg

#心跳时间 单位毫秒
tickTime=2000
#leader和follower初始连接能容忍的最大心跳数
initLimit=10
#leader和follower请求应答能容忍的最大心跳数
syncLimit=5
#zookeeper数据目录
dataDir=/data
#zookeeper日志目录
dataLogDir=/datalog
#客户端连接端口
clientPort=2181
#需要保留的文件个数
autopurge.snapRetainCount=3
#定时清理时间间隔 单位小时 设为0表示不清理
autopure.purgeInterval=1
#zookeeper集群信息 服务器地址:LF通信端口:选举端口
server.1=zk1:2888:3888
server.2=zk2:2888:3888
server.3=zk3:2888:3888

zk2 zoo.cfg

#心跳时间 单位毫秒
tickTime=2000
#leader和follower初始连接能容忍的最大心跳数
initLimit=10
#leader和follower请求应答能容忍的最大心跳数
syncLimit=5
#zookeeper数据目录
dataDir=/data
#zookeeper日志目录
dataLogDir=/datalog
#客户端连接端口
clientPort=2181
#需要保留的文件个数
autopurge.snapRetainCount=3
#定时清理时间间隔 单位小时 设为0表示不清理
autopure.purgeInterval=1
#zookeeper集群信息 服务器地址:LF通信端口:选举端口
server.1=zk1:2888:3888
server.2=zk2:2888:3888
server.3=zk3:2888:3888

zk3 zoo.cfg

#心跳时间 单位毫秒
tickTime=2000
#leader和follower初始连接能容忍的最大心跳数
initLimit=10
#leader和follower请求应答能容忍的最大心跳数
syncLimit=5
#zookeeper数据目录
dataDir=/data
#zookeeper日志目录
dataLogDir=/datalog
#客户端连接端口
clientPort=2181
#需要保留的文件个数
autopurge.snapRetainCount=3
#定时清理时间间隔 单位小时 设为0表示不清理
autopure.purgeInterval=1
#zookeeper集群信息 服务器地址:LF通信端口:选举端口
server.1=zk1:2888:3888
server.2=zk2:2888:3888
server.3=zk3:2888:3888

 

3.创建网络

docker network create --driver bridge --subnet 172.16.0.0/25 --gateway 172.16.0.1 zookeeper_kafka

4.创建docker.compose.yml

version: '3'

services:

  zk1:
    image: wurstmeister/zookeeper
    restart: always
    container_name: zk1
    hostname: zk1
    ports:
    - "2181:2181"
    volumes:
    - /home/wangyan/zookeeper/zk1/conf/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg
    - /home/wangyan/zookeeper/zk1/data:/data
    - /home/wangyan/zookeeper/zk1/log:/datalog
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888
    networks:
      default:
        ipv4_address: 172.16.0.2

  zk2:
    image: wurstmeister/zookeeper
    restart: always
    container_name: zk2
    hostname: zk2
    ports:
    - "2182:2181"
    volumes:
    - /home/wangyan/zookeeper/zk2/conf/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg
    - /home/wangyan/zookeeper/zk2/data:/data
    - /home/wangyan/zookeeper/zk2/log:/datalog
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888
    networks:
      default:
        ipv4_address: 172.16.0.3

  zk3:
    image: wurstmeister/zookeeper
    restart: always
    container_name: zk3
    hostname: zk3
    ports:
    - "2183:2181"
    volumes:
    - /home/wangyan/zookeeper/zk3/conf/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg
    - /home/wangyan/zookeeper/zk3/data:/data
    - /home/wangyan/zookeeper/zk3/log:/datalog
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888
    networks:
      default:
        ipv4_address: 172.16.0.4

  kafka1:
    image: wurstmeister/kafka
    restart: always
    container_name: kafka1
    hostname: kafka1
    ports:
    - 9092:9092
    environment:
      KAFKA_HOST_NAME: kafka1
      KAFKA_ADVERTISED_HOST_NAME: kafka1
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.88.5:9092
      KAFKA_ZOOKEEPER_CONNECT: zk1:2181,zk2:2181,zk3:2181
      KAFKA_BROKER_ID: 0
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
    volumes:
    - /etc/localtime:/etc/localtime
    - /home/wangyan/kafka/kafka1/log:/kafka
    links:
    - zk1
    - zk2
    - zk3
    networks:
      default:
        ipv4_address: 172.16.0.5

  kafka2:
    image: wurstmeister/kafka
    restart: always
    container_name: kafka2
    hostname: kafka2
    ports:
    - 9093:9092
    environment:
      KAFKA_HOST_NAME: kafka2
      KAFKA_ADVERTISED_HOST_NAME: kafka2
      KAFKA_ADVERTISED_PORT: 9093
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.88.5:9093
      KAFKA_ZOOKEEPER_CONNECT: zk1:2181,zk2:2181,zk3:2181
      KAFKA_BROKER_ID: 1
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
    volumes:
    - /etc/localtime:/etc/localtime
    - "/home/wangyan/kafka/kafka2/log:/kafka"
    links:
    - zk1
    - zk2
    - zk3
    networks:
      default:
        ipv4_address: 172.16.0.6

  kafka3:
    image: wurstmeister/kafka
    restart: always
    container_name: kafka3
    hostname: kafka3
    ports:
    - 9094:9092
    environment:
      KAFKA_HOST_NAME: kafka3
      KAFKA_ADVERTISED_HOST_NAME: kafka3
      KAFKA_ADVERTISED_PORT: 9094
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.88.5:9094
      KAFKA_ZOOKEEPER_CONNECT: zk1:2181,zk2:2181,zk3:2181
      KAFKA_BROKER_ID: 2
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
    volumes:
    - /etc/localtime:/etc/localtime
    - "/home/wangyan/kafka/kafka3/log:/kafka"
    links:
    - zk1
    - zk2
    - zk3
    networks:
      default:
        ipv4_address: 172.16.0.7

  kafka-manager:
    image: sheepkiller/kafka-manager
    restart: always
    container_name: kafka-manager
    hostname: kafka-manager
    ports:
    - 9000:9000
    links:
    - kafka1
    - kafka2
    - kafka3
    - zk1
    - zk2
    - zk3
    environment:
      ZK_HOSTS: 192.168.88.5
    networks:
      default:
        ipv4_address: 172.16.0.8

networks:
  default:
    external:
      name: zookeeper_kafka

 

5.使用docker-compose构建镜像启动容器集群

docker-compose -f docker-compose.yml up -d

通过 docker-compose 部署 Kafka
ststcheung的博客
09-28 2915
在 Kafka 中，由于消息的生产和消费速度可能不一致，导致消息会积压在 Kafka 的分区中，如果这些积压的消息处理不及时，会导致 Kafka 系统的性能下降和可用性降低等问题。可以通过 Kafka 的 offset 操作，重置消费 offset，跳过已经处理过的消息，减少数据积压的问题。：在消费 Kafka 消息时，可以额外执行一些消息清洗处理操作，将无用的数据过滤出去，或者将数据进行清理和格式化处理，减少中间处理环节，提高数据消费的效率和可用性。消费组在 Kafka 消息队列中起到了至关重要的作用。
Kafka.docker-compose.yml
08-27
Kafka&Kafka;-manager，Docker-compose脚本，使用之前需要手动配置文件中的zookeeper链接，使用之前需要先创建Docker网络： docker network create zoo_kafka。 Docker镜像使用的是：wurstmeister/kafka、sheepkiller/kafka-manager:latest
docker-compose 搭建kafka集群
qq_37377082的博客
04-01 213
创建目录 [root@meta kafka]# tree -L 2 . ├── kafka.yml ├── kfk1 │ ├── conf │ ├── data │ └── log ├── kfk2 │ ├── conf │ ├── data │ └── log ├── kfk3 │ ├── conf │ ├── data │ └── log ├── zk1 │ ├── conf │ ├── data │ ├── datalog │ └── logs ├─
KRaft (Kafka 4.0) 集群配置指南（超简单，脱离 ZooKeeper 集群）还包含了简化测试指令的脚本！！！
最新发布
qq_45815075的博客
05-08 2484
Kafka 4.0引入了KRaft模式，通过内建的Raft协议管理元数据，不再依赖ZooKeeper，简化了集群的部署和管理。本文详细介绍了如何使用docker-compose部署基于KRaft模式的Kafka集群，包括配置三台主机的Kafka节点、数据持久化设置以及解决容器内权限问题。此外，还提供了自定义工具脚本kafka-tools.sh，简化了Kafka常用操作命令，如创建主题、生产消费消息等。通过这些步骤和工具，用户可以更高效地管理和测试KRaft模式的Kafka集群。
Docker-compose搭建kafka集群
luochenzc的博客
09-14 734
kafka单机 kafka集群 docker-compose
docker-compose 搭建 kafka 集群
杨宇
07-20 2310
使用docker-compose部署kafak集群，进行数据操作
Kafka快速入门（docker-compose-kafka.yml文件）
10-04
最后，使用docker-compose部署Kafka时，还应当注意到集群的安全性设置，如数据加密、认证授权等，因为这些对于生产环境中的Kafka部署尤为关键。安全性配置在docker-compose-kafka.yml文件中通常涉及到额外的环境变量...
利用docker和docker-compose部署单机kafka
01-20
本文将详细介绍如何使用Docker和Docker Compose部署单机版Apache Kafka，以及如何进行测试和验证其工作状态。 1. **Docker基础** Docker是一种流行的容器化技术，它允许我们将应用程序及其依赖环境打包成独立的可...
bitnami版本的zookeeper和kafka的docker-compose配置
02-15
这个Docker Compose 文件定义了一个包含Zookeeper和三个Kafka节点...整体而言，这个Docker Compose 文件提供了一个简单且可扩展的方式来搭建和管理Zookeeper和Kafka的集群环境。 对了，这个集群配置是支持外部访问的。
docker-compose的方式搭建 kafka KRaft 模式集群
杨杨杨~~的博客
01-24 2514
如果您觉得有用的话，记得给，写作不易啊^ _ ^。而且听说，实在白嫖的话，那欢迎常来啊!!!
kafka-docker:使用docker和orchestrate kafka构建kafka以及使用docker-compose构建zookeeper
04-30
Build Kafka cluster with docker-compose 集群管理方法 构建image cd demokafka.0.10.1.0 docker-compose build 启动集群 cd demokafka.0.10.1.0 docker-compose up -d 停止集群 cd demokafka.0.10.1.0 docker-compose stop 删除集群 cd demokafka.0.10.1.0 docker-compose rm -f 集群配置说明 主要配置 ZOOKEEPER_CONNECT: zookeeper0:12181,zookeeper1:12182,zookeeper2:12183/kafka BROKER_ID: 0 LISTENERS: PLAINTEXT://kafka0:19092,SSL://kafka0:29092 ZOO
docker-compose 创建kafka服务
sinat_20560415的博客
07-25 1812
docker-compose 创建kafka服务 1.创建 docker-compose.yml  2. docker-compose.yml 内容 zookeeper: restart: always container_name: zookeeper image: wurstmeister/zookeeper ports: - 2181:2181 ...
基于Docker-compose构建Kafka集群
m0_43405302的博客
07-31 1927
首先，先向大家道个歉。由于前段时间的工作调整，导致我一直没有进行更新。现在工作逐渐走上正轨，现在决定继续更新自己学习的内容。希望对于学习或者从事大数据开发的你提供一些帮助。本次更新的内容为如何使用Docker-compose技术进行Kafka集群的构建。...
docker-compose 构建 Kafka 容器
小楠的博客
06-13 1099
docker-compose 构建 Kafka 容器
docker-compose部署kafka集群
xianweijian的博客
07-02 1196
用于测试、开发环境部署kafka集群，实际上也可以用于生产环境，但是需要调整kafka集群参数、镜像系统参数，以达到kafka运行的最佳环境。本例因为资源有限，在一台服务器上进行集群模拟安装。
docker-compose 搭建 kafka集群
weixin_30458043的博客
04-28 535
搭建集群 docker-compose up -d --scale kafka=2 本机启动一个有两个节点的 Kafka 集群 version: '2' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstm...
docker-compose部署kafka
weixin_30572613的博客
07-18 235
docker-compose.yml version: '2' services: zookeeper: image: develop-harbor.geostar.com.cn/3rd/zookeeper:3.5.5 ports: - "2181:2181" kafka: image: develop-harbor.geostar....
快速安装docker-compose,通过docker-compose一键搭建kafka集群~
右手边的流年
04-02 1699
1.docker-compose官网安装方式 1.1下载Docker Compose的当前稳定版本 官方的地址太慢了~可以使用下面替代版 curl -L "https://github.com/docker/compose/releases/download/1.25.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docke...
docker-compose kafka 单机
03-30
还有引用3提到docker-compose部署kafka集群，但用户只需要单机，所以可能需要调整配置。 用户的问题是如何用docker-compose在单机上部署Kafka。根据引用1中的示例，启动命令是docker-compose up -d kafka，但可能...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值