Docker搭建Kafka集群

最新推荐文章于 2024-04-10 16:40:13 发布

CarsonBigData

最新推荐文章于 2024-04-10 16:40:13 发布

阅读量585

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： docker kafka java

本文链接：https://blog.youkuaiyun.com/Carson073/article/details/125324778

大数据专栏收录该内容

40 篇文章

订阅专栏

该博客介绍了如何使用docker-compose在本地部署Kafka，选择了wurstmeister/kafka镜像，详细步骤包括下载镜像、创建docker-compose.yml文件、启动容器，并通过docker-compose scale命令扩展了3个Kafka节点。最后展示了容器运行状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

这是基于docker-compose，单机版的部署方式，适合于功能测试。

Docker镜像选型

wurstmeister/kafkahttps://github.com/wurstmeister/kafka-docker/

特点：docker hub star数最多，版本更新到 Kafka 2.0 ，zookeeper与kafka分开于不同镜像。

安装过程

假设docker、docker-compose等工具已经安装。

1、下载zookeeper和 kafka 镜像:

docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka

2、用户目录下创建一个docker-compose.yml文件

vi docker-compose.yml

内容如下：

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 10.0.3.5
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

注：KAFKA_ADVERTISED_HOST_NAME是本机地址，可通过ifconfig -a 查看本机地址

3、启动docker-compose

docker-compose up -d

[root@kafka ~]# docker-compose up -d
Creating network "root_default" with the default driver
Creating root_kafka_1     ... done
Creating root_zookeeper_1 ... done

4、启动多个kafka 节点，比如3个

docker-compose scale kafka=3

root@kafka ~]# docker-compose scale kafka=3
WARNING: The scale command is deprecated. Use the up command with the --scale flag instead.
Starting root_kafka_1 ... done
Creating root_kafka_2 ... done
Creating root_kafka_3 ... done

5、查看容器状态

[root@VM_0_10_centos docker-compose-files]# docker ps
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS              PORTS                                                NAMES
7b29e8087795        wurstmeister/kafka       "start-kafka.sh"         18 minutes ago      Up 18 minutes       0.0.0.0:32796->9092/tcp                              docker-compose-files_kafka_3
ed8c1467a9cd        wurstmeister/kafka       "start-kafka.sh"         18 minutes ago      Up 18 minutes       0.0.0.0:32795->9092/tcp                              docker-compose-files_kafka_2
4216bd80c7b7        wurstmeister/kafka       "start-kafka.sh"         About an hour ago   Up 35 minutes       0.0.0.0:32791->9092/tcp                              docker-compose-files_kafka_1
1911aa37c082        wurstmeister/zookeeper   "/bin/sh -c '/usr/sb…"   About an hour ago   Up About an hour    22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp   docker-compose-files_zookeeper_1