保姆级教程Docker部署Zookeeper模式的Kafka镜像

已于 2025-03-18 20:39:19 修改
阅读量2.6k 收藏 13
点赞数 16
CC 4.0 BY-SA版权
分类专栏： Docker 文章标签： docker zookeeper kafka
于 2025-02-09 17:36:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BigCookies/article/details/145532202

目录

一、安装Docker及可视化工具

二、Docker部署Zookeeper

三、单节点部署

1、创建挂载目录

2、命令运行容器

3、Compose运行容器

4、查看运行状态

5、验证功能

四、部署可视化工具

1、创建挂载目录

2、Compose运行容器

3、查看运行状态

一、安装Docker及可视化工具

为了简化安装过程并确保环境一致性，推荐使用 Docker 来本地部署 Kafka。这不仅能够快速启动服务，还能有效解决不同操作系统之间的兼容性问题，采用隔离环境的方式，避免了因环境差异导致的问题。

二、Docker部署Zookeeper

三、镜像选择

Apache Kafka 的原始创建者是 Jay Kreps、Neha Narkhede 和 Jun Rao，他们最初在 LinkedIn 开发了 Kafka，后来将其开源并捐赠给了 Apache 软件基金会。之后，他们创立了 Confluent 公司，专注于 Kafka 的商业化支持和扩展。作为 Kafka 生态系统的核心贡献者，Confluent 提供了许多增强工具和服务，其中包括 confluentinc/cp-kafka 镜像。

confluentinc/cp-kafka 集成了 Kafka 及其生态系统工具，适合企业级使用。

截至 Confluent Platform 7.5，ZooKeeper 已不再用于新部署。Confluent 推荐在新部署中使用 KRaft 模式。因此这里选择了 confluentinc/cp-kafka:7.3.10 镜像。

四、单节点部署

1、创建挂载目录

# 创建宿主机kafka挂载目录
sudo mkdir -p /data/docker/kafka

2、命令运行容器

# 拉取镜像
sudo docker pull confluentinc/cp-kafka:7.3.10

# 运行容器
sudo docker run --privileged=true \
--net=zk-net \
-d --name=kafka \
-v /data/docker/kafkat/data:/bitnami/kafka/data \
-p 9092:9092 -p 19092:19092 -p 29092:29092 \
-e TZ=Asia/Shanghai \
-e KAFKA_BROKER_ID=1 \
-e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
-e KAFKA_INTER_BROKER_LISTENER_NAME=INTERNAL \
-e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT \
-e KAFKA_ADVERTISED_LISTENERS=INTERNAL://192.168.3.9:9092,EXTERNAL://192.168.3.9:29092 \
-e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 \
-e KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0 \
-e KAFKA_JMX_HOST=192.168.3.9 \
-e KAFKA_JMX_PORT=19092 \
confluentinc/cp-kafka:7.3.10

参数解析如下：

参数参数说明
docker run运行 Docker 容器
-d容器将在后台运行，而不是占用当前的终端会话
--privileged=trueDocker会赋予容器几乎与宿主机相同的权限
--net=zk-net网络模式配置，加入Zookeeper容器创建的网络，以便容器间通讯
--name kafka给容器命名为 kafka，以便于管理和引用该容器
-p 9092:9092 -p 19092:19092 -p 29092:29092映射 kafka 的客户端通信端口

-e KAFKA_ZOOKEEPER_CONNECT=

zookeeper:2181

zookeeper的连接地址
-e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP= INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT配置Kafka监听器的安全协议映射，内部网络和外部网络都采用未加密的明文协议

-e KAFKA_ADVERTISED_LISTENERS=

INTERNAL://192.168.3.9:9092,

EXTERNAL://192.168.3.9:29092

配置了 Kafka 对外公开的监听地址和协议，

INTERNAL://192.168.3.9:9092：表示对内提供服务的地址。
EXTERNAL://192.168.3.9:29092：表示对外提供服务的地址，需要修改为对应的ip地址。

-e KAFKA_INTER_BROKER_LISTENER_NAME=

INTERNAL

表示 Kafka Broker 之间的通信将使用 INTERNAL 监听器
-e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1配置主题的副本因子，表示主题的每个分区在集群中有多少个副本，在单节点测试环境中，可以将副本因子设置为 1，以减少资源开销
-e KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0配置消费者组在初始加入或重新平衡（Rebalance）时的延迟行为，默认值为 3000 毫秒；在测试环境中，如果需要快速触发重平衡，可以将该参数设置为 0，以立即执行重平衡。
- KAFKA_JMX_HOST=192.168.3.9配置Kafka进程的JMX监控地址
- KAFKA_JMX_PORT=19092配置Kafka进程的JMX监控端口

3、Compose运行容器

创建docker-compose.yml文件

sudo touch /data/docker/kafka/docker-compose.yml

文件内容如下： 

version: '3'

networks:
  zk-net:
    external: true  # 标记这个网络是外部网络

services:
  kafka:
    image: confluentinc/cp-kafka:7.3.10
    container_name: kafka
    ports:
      - "9092:9092"
      - "19092:19092"
      - "29092:29092"
    environment:
      - TZ=Asia/Shanghai
      - KAFKA_BROKER_ID=1
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      - KAFKA_INTER_BROKER_LISTENER_NAME=INTERNAL
      - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      - KAFKA_ADVERTISED_LISTENERS=INTERNAL://192.168.3.9:9092,EXTERNAL://192.168.3.9:29092
      - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1
      - KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0
      - KAFKA_JMX_HOST=192.168.3.9
      - KAFKA_JMX_PORT=19092
    privileged: true
    networks: 
      - zk-net

运行容器

#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka/docker-compose.yml up -d

4、查看运行状态

5、验证功能

验证步骤如下，分别创建一个生产者和一个消费者，查看消费者是否能够收到生产者生产的消息

# 1.进入kafka容器内
sudo docker exec -it kafka /bin/bash

# 2.进入bin目录
cd /usr/bin

# 3.生产消息
./kafka-console-producer --topic test01 --bootstrap-server localhost:9092

# 3.消费消息
./kafka-console-consumer --topic test01 --from-beginning --bootstrap-server localhost:9092 --group group01

# 查询主题列表
./kafka-topics --bootstrap-server localhost:9092 --list

# 查询消费组列表
./kafka-consumer-groups --bootstrap-server localhost:9092 --list

 生产消息

消费消息

验证结果表明，kafka部署正常，可正常生产和消费消息

五、部署可视化工具

Zookeeper模式的Kafka推荐使用Kafka Eagle进行可视化管理。Kafka Eagle 是一款开源的 Kafka 监控和管理工具，主要用于监控 Kafka 集群的健康状态、性能指标以及管理主题和消费者组。

1、创建挂载目录

# 创建宿主机kafka-eagle挂载目录
sudo mkdir -p /data/docker/kafka-eagle

2、Compose运行容器

创建docker-compose.yml文件

sudo touch /data/docker/kafka-eagle/docker-compose.yml

文件内容如下：

version: '3'

networks:
  zk-net:
    external: true  # 标记这个网络是外部网络

services:
  kafka-eagle:
    image: nickzurich/efak:3.0.1
    container_name: kafka-eagle
    ports:
      - "8048:8048"
    environment:
      - TZ=Asia/Shanghai
      - EFAK_CLUSTER_ZK_LIST=zookeeper:2181
    volumes:
      - /data/docker/kafka-eagle/config:/opt/efak/conf
      - /data/docker/kafka-eagle/data:/hadoop/efak/db
    privileged: true
    networks: 
      - zk-net

运行容器

#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka-eagle/docker-compose.yml up -d

3、查看运行状态

http://192.168.3.9:8048

用户名密码：admin/123456

Docker从入门到精通｜2022版
我想做一个艺术家
07-19 7113
docker零基础入门｜保姆级教程
docker的zookeeper镜像
10-25
docker的zookeeper镜像
ZooKeeper部署及基本使用
m0_37298602的博客
06-21 458
简介 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务
docker 安装单机版kafka并进行使用记录
最新发布
u010738038的专栏
06-06 1660
docker 安装kafka和zk，和代码基本使用
docker 安装kafka
weixin_34146805的博客
12-13 297
1、下载镜像这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka在命令中运行docker images验证两个镜像已经安装完毕 2.启动启动zookeeper容器docker run -d --name zoo...
保姆级教程Docker部署Zookeeper镜像
BigCookies的博客
02-04 2105
本文介绍了如何在 Docker 容器中部署 Zookeeper，包括创建宿主机挂载目录、拉取镜像、配置容器启动参数，并通过 Docker Compose 简化启动过程。
Docker部署ZooKeeper
TechEnthusiast的博客
02-27 999
在分布式系统中，ZooKeeper是一个关键的组件，用于协调和管理多个节点之间的状态。本文将详细介绍如何使用Docker安装和部署ZooKeeper，包括非集群部署和集群部署两种情况。
zookeeper 命令_使用Docker搭建ZooKeeper集群
weixin_39610774的博客
11-24 318
1. 下载镜像我们使用官方提供的Zookeeper镜像：docker pull zookeeper:3.5.8选择 3.5.8 版本当出现如下信息时表示镜像下载成功：wy:study wy$ docker pull zookeeper:3.5.83.5.8: Pulling from library/zookeeper...Digest: sha256:12af523731cbe390f...
Docker中快速部署Zookeeper服务
波波烤鸭的博客
08-29 2188
最近在研究分布式ID，在使用美团的Leaf的时候基于Snowflake的实现我们需要通过Zookeeper来实现动态管理workId。所以记录下在Docker中快速安装Zookeeper的过程。
docker部署zookeeper
smart的博客
07-08 763
docker run -itd --network host --restart always --name=zk3 \ --hostname zookeeper-server --privileged=true \ -v /app/zookeeper/conf/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg \ -v /app/zookeeper/data:/opt/zookeeper-3.4.13/data \ -v /app/zookeeper/dat
Zookeeper模式安装Kafka（含常规、容器两种安装方式）
搬砖工
01-01 1634
Zookeeper Mode使用的配置是$KFAKA_HOME/config/server.properties- Kraft Mode使用的配置是$KFAKA_HOME/config/kraft/server.properties- Kraft Mode启动见作者的文章：Kraft模式安装Kafka。
Docker部署Kafka 2.8.1（保姆级图文教程）
热门推荐
Sahara_Savage
07-12 1万+
Docker部署Kafka 2.8.1（保姆级图文教程）
【云原生 • Docker】 ELK 8.4.3 docker 保姆级安装部署详细步骤
qq_39093474的博客
04-21 1297
之前我们已经使用过软件进行过安装了，不知道的可以看我之前写的文章ELK日志系统搭建完整详细步骤ELK主要由ElasticSearch、Logstash和Kibana三个开源工具组成，还有其他专门由于收集数据的轻量型数据采集器Beats。Elasticsearch ：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。
Helm安装外部可访问Kafka集群(保姆级教程)
MyySophia的博客
08-13 2382
下平时OS安装软件时为什么需要yum安装你可以类比到在k8s中安装 软件为什么需要helm。看一下官方slogan。
Docker 部署 ZooKeeper
huanfengwu的专栏
01-05 981
一、下载ZooKeeper 下载地址：https://zookeeper.apache.org/releases.html 这里我下载最新的3.6.2版本 二、部署 ZooKeeper有三种部署方式单机模式、伪集群模式、集群模式 为了保证节点挂掉时能正常的选举出Leader需要部署2n+1个节点 我使用两台虚拟机做测试，其中一台部署两个节点，另一台部署一个节点 2.1 将下载好的文件包放到/opt/apps/zookeeper文件夹中并解压缩，有教程说要配置环境变量方便命令操作，此处我不进行配
Docker 部署kafka遇到的问题
weixin_40750633的博客
05-13 1782
启动容器之后，状态为`Exited 如图， 查看日志 docker logs 1e1a55aa8d21 日志详细信息： [root@iZwz9geewjuo2sogidqn50Z ~]# docker logs 1e1a55aa8d21 [Configuring] 'advertised.listeners' in '/opt/kafka/config/server.properties' [Configuring] 'port' in '/opt/kafka/config/server.pro.
Docker安装zookeeper(zookeeper-latest)与Kafka(kafka-latest)
此人很懒，什么都没有写~~
09-06 1670
-e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://123.60.133.141:9092 这个IP一定要是外网IP，不要设置为内网IP。# KAFKA_ADVERTISED_HOST_NAME当前主机IP或地址（重点：如果是服务器部署则配服务器IP或域名否则客户端监听消息会报地址错误）# KAFKA_CFG_ZOOKEEPER_CONNECT链接的zookeeper。# app-tier：网络名称 # –driver：网络类型为bridge。
docker部署zookeeper和kafka
03-31
以下是使用Docker部署Zookeeper和Kafka的步骤： 1. 安装Docker和Docker Compose 2. 创建Docker Compose文件 在本地目录中创建一个名为docker-compose.yml的文件，并添加以下内容： ``` version: "3" services: zookeeper: image: zookeeper ports: - "2181:2181" environment: ZOO_MY_ID: 1 volumes: - ./data/zookeeper/data:/data - ./data/zookeeper/datalog:/datalog kafka: image: wurstmeister/kafka ports: - "9092:9092" environment: KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_CREATE_TOPICS: "test:1:1" volumes: - ./data/kafka:/kafka depends_on: - zookeeper ``` 此文件定义了两个服务：Zookeeper和Kafka。Zookeeper服务使用官方的Zookeeper镜像，Kafka服务使用wurstmeister的Kafka镜像。 3. 启动服务 在终端中，进入含有docker-compose.yml文件的目录中，然后运行以下命令： ``` docker-compose up -d ``` 此命令将启动Zookeeper和Kafka服务，并将它们作为Docker容器在后台运行。 4. 验证服务 在浏览器中访问http://localhost:2181/，应该会看到Zookeeper的管理界面。您还可以使用以下命令在Kafka上创建一个测试主题： ``` docker-compose exec kafka \ kafka-topics.sh --create \ --zookeeper zookeeper:2181 \ --replication-factor 1 \ --partitions 1 \ --topic test ``` 使用以下命令在Kafka上发布一条消息： ``` docker-compose exec kafka \ bash -c "echo 'hello, world' | kafka-console-producer.sh --broker-list localhost:9092 --topic test && echo 'Produced 1 message.'" ``` 最后，使用以下命令在Kafka上消费消息： ``` docker-compose exec kafka \ kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning ``` 如果您能够在终端中看到“hello, world”消息，则表明Kafka已经成功运行。 5. 停止服务 在终端中，进入docker-compose.yml文件所在的目录中，并运行以下命令： ``` docker-compose down ``` 此命令将停止并删除Zookeeper和Kafka容器。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值