docker运行kafka示例

最新推荐文章于 2025-05-28 08:00:00 发布

luffy5459

最新推荐文章于 2025-05-28 08:00:00 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： java 文章标签： docker kafka zookeeper topic producer

本文链接：https://blog.youkuaiyun.com/feinifi/article/details/121136166

kafka依赖zookeeper，kafka自身没有管理界面，运行之后，只能通过查看日志来定位问题，不方便，所以这里还需要引入一个kafka-manager镜像来管理kafka。

话不多说，直接上代码。

1、拉取镜像

docker pull wurstmeister/kafka
docker pull wurstmeister/zookeeper
docker pull sheepkiller/kafka-manager

2、启动zookeeper

[root@server ~]# docker run -d -t --name zookeeper -p 2181:2181 wurstmeister/zookeeper
1d0620baad47494978c2470e050a275600a3f8aa04509613053356d1f907282f
[root@server ~]# docker ps
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS              PORTS                                                NAMES
1d0620baad47        wurstmeister/zookeeper   "/bin/sh -c '/usr/..."   6 seconds ago       Up 4 seconds        22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp   zookeeper

3、启动kafka

[root@server ~]# docker run -d --name kafka -p

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

luffy5459

关注关注

0
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

使用Docker部署Kafka

CvhShell的博客

09-22

332

通过使用Docker部署Kafka，我们能够快速搭建一个可靠的流处理平台，并提供高性能的消息传递和数据处理能力。在本文中，我们介绍了使用Docker Compose来部署Kafka集群的步骤，并提供了相应的源代码示例。在本文中，我们将介绍如何使用Docker部署Kafka，并提供相应的源代码示例。文件中的配置创建并启动两个Docker容器：Zookeeper和Kafka。然后，我们可以在控制台中输入一些消息，并按Enter键发送。服务将通过端口映射将主机的2181端口与容器内的2181端口绑定在一起，而。

golang 操作 docker 中 kafka

wgchen

02-20

592

该命令的目的是在Docker容器中运行一个Kafka实例，通过指定的配置参数和环境变量，将Kafka配置为使用给定的ZooKeeper地址和端口，并在主机上的9092端口上与外部客户端进行通信。在安装kafka之前需要先安装zookeeper，因为kafka 启动会将元数据保存在 zookeeper 中，zookeeper是一种分布式协调服务，可以再分布式系统中共享配置，协调锁资源，提供命名服务。：Kafka 可以作为实时指标和日志流的中间件，用于收集、处理和分析大规模的指标和日志数据。

参与评论您还未登录，请先登录后发表或查看评论

kafka实战-docker 中安装kafka

m0_47743175的博客

08-19

1392

在安装kafka之前需要先安装zookeeper，因为kafka 启动会将元数据保存在 zookeeper 中，zookeeper是一种分布式协调服务，可以再分布式系统中共享配置，协调锁资源，提供命名服务。1.在docker中拉取zookeeper 镜像2、运行zookeeper 服务3、查看docker 下是否正常运行zookeeper 服务docker ps。

Docker启动kafka

zhanghe_zht的博客

04-26

884

使用zk镜像：wurstmeister/zookeeper。使用kafka镜像：wurstmeister/kafka。Kafka依赖Zookeeper。

【 Docker系列】 Docker部署kafka

热门推荐

m0_64210833的博客

11-03

3万+

手把手教你使用Docker安装kafka

Docker部署Kafka以及Spring Kafka实现

01-11

这篇文章主要介绍了Docker部署Kafka以及Spring Kafka实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下从https://hub.docker.com/查找kafka 第三个活跃并...

Docker配置Kafka集群

青烟绕指柔的博客

02-18

2774

使用docker-compose创建kafka集群因为 kafka 需要用到 zookeeper（3.0之后就可以使用 kraft 而不用 zookeeper 了），并且还要创建多个 kafka 容器，这里为了方便使用 docker-compose 去创建。 version: '3.8' services: zookeeper: container_name: zk-0 # 容器名称 image: wurstmeister/zookeeper # 镜像 restart: alw

docker运行kafka

Carrot_ly的博客

11-14

1221

（KAFKA_CFG_ADVERTISED_LISTENERS一定要配，配本机ip即可，不可使用localhost或者127.0.0.1,否则可能出现本机程序或其他容器消费不到消息）3.建网络docker network create app-tier --driver bridge。1.拉取bitnami/zookeeper和bitnami/kafka。2.查看网络docker network ls。（注意--network是不是刚才建的）

docker启动kafka

hepengshuai的博客

12-29

2162

1、启动zookeeper docker run -d -p 2181:2181 --name zk zookeeper 2、启动kafka docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.131:2181 -e KAFKA_ADVERTISED_L...

docker 部署kafka

weixin_57632548的博客

12-21

4747

随笔记录。

[Docker]使用Docker部署Kafka

weixin_45254062的博客

06-21

1212

Kafka 是一个分布式流处理平台，它依赖于 ZooKeeper 作为其协调服务。在 Kafka 集群中，ZooKeeper 负责管理和协调 Kafka 的各个节点。因此，要在 Docker 容器中启动 Kafka，通常需要同时启动一个 ZooKeeper 服务作为其依赖。可以按照以下步骤来启动 Kafka 容器，并确保同时启动了 ZooKeeper 服务：创建一个 Docker 网络：...

使用Docker快速建立一个Kafka实例

weixin_34121282的博客

07-13

504

0 前言 Kafka作为近几年十分流行，虽然它自己定位为一个分布式流结构平台'distributed streaming platform'，但是我们大部分时间还是当做是一个MQ来使用:P。刚好最近也在研究Kafka，需要为准备一下开发环境作为研究开发测使用。 Docker也是一个十分流行的虚拟应用容器平台，能够将主流的开源框架以容器的...

docker安装kafka【手把手系列】

qq_58353992的博客

03-19

7431

Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。数据管道：在数据采集和分发过程中构建可扩展的流式数据管道，用于实时数据处理和分析。例如，数据收集、日志聚合、网络追踪、用户活动跟踪等。

docker 部署 kafka

03-24

<think>好的，我现在需要帮助用户了解如何使用Docker部署Kafka。首先，用户提到了参考中的两个引用，都是关于Docker部署Kafka的内容，我需要结合这些信息来构建答案。首先，我应该先回忆一下Docker部署Kafka的基本步骤。通常，Kafka依赖Zookeeper，所以需要同时部署两者。用户提供的引用里提到了使用docker-compose.yml配置文件，这可能是一个关键点。根据引用1，使用docker-compose可以创建并启动Zookeeper和Kafka的容器，这应该是标准做法。接下来，我需要确保步骤正确。首先，创建Docker网络，这样容器之间可以通信。引用2提到需要创建Docker网络，这可能是在docker-compose中定义的网络，或者需要预先创建。不过通常docker-compose会自动处理网络，但有时候用户可能需要自定义。可能需要检查这一点。然后是编写docker-compose.yml文件。这里需要确定正确的镜像版本。比如，使用confluentinc的镜像还是wurstmeister的镜像？用户提供的引用没有明确说明，但常见的教程中常用wurstmeister/kafka和zookeeper。不过引用1中的例子可能使用的是confluentinc的镜像，或者其他的。需要确认。不过为了通用性，可能使用较常见的配置。另外，用户可能希望示例配置是可直接运行的，所以需要确保docker-compose.yml的语法正确。比如，定义服务、端口映射、环境变量等。Kafka需要配置环境变量如KAFKA_ADVERTISED_LISTENERS，这样才能被外部访问，这点很重要，否则客户端可能无法连接。然后，启动容器的命令是docker-compose up -d，这应该没问题。测试部分可能需要使用kafka的命令行工具来创建主题、生产者和消费者，或者使用Python客户端。用户引用的参考2提到了Python使用Kafka的基础用法，所以可能需要在回答中包含Python的示例代码，但用户的问题主要是部署，所以可能放在相关问题里。另外，用户可能遇到的问题包括网络配置不正确、端口未暴露、环境变量设置错误等，是否需要给出常见问题的解决方法？不过用户当前的问题主要是部署教程，所以可能先专注于步骤，然后在相关问题中提及。还要注意，引用中的例子可能使用了特定的配置，比如Zookeeper和Kafka的端口映射，比如2181和9092，这些是默认端口，需要确保在docker-compose.yml中正确映射。同时，KAFKA_ADVERTISED_LISTENERS需要设置为宿主机的IP或者Docker主机名，否则外部客户端无法连接。这里可能需要提醒用户根据实际情况修改。总结步骤应该是： 1. 安装Docker和Docker Compose。 2. 创建docker-compose.yml文件，定义Zookeeper和Kafka服务。 3. 启动容器。 4. 测试Kafka是否正常运行。在测试部分，可以建议使用kafka命令行工具进入容器执行命令，或者使用Python客户端进行测试。比如，使用kafka-python库创建生产者和消费者，如引用2提到的。最后，生成相关问题，可能需要包括优化配置、常见错误、集群部署、监控、与Python集成等。需要确保所有的命令和配置正确，语法正确，比如在docker-compose.yml中的缩进是否正确，环境变量是否正确设置。同时，提醒用户如果遇到问题，检查端口是否被占用，防火墙设置，以及advertised.listeners的配置是否正确。</think>以下是如何使用Docker部署Kafka的详细教程及配置示例： ### 一、Docker部署Kafka步骤 #### 1. 创建Docker网络（可选但推荐） ```bash docker network create kafka-net ``` #### 2. 编写`docker-compose.yml`文件 ```yaml version: '3' services: zookeeper: image: bitnami/zookeeper:latest container_name: zookeeper ports: - "2181:2181" networks: - kafka-net environment: ALLOW_ANONYMOUS_LOGIN: "yes" kafka: image: bitnami/kafka:latest container_name: kafka ports: - "9092:9092" networks: - kafka-net environment: KAFKA_CFG_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 depends_on: - zookeeper networks: kafka-net: driver: bridge ``` #### 3. 启动服务 ```bash docker-compose up -d ``` #### 4. 验证服务状态 ```bash docker ps -a | grep -E "kafka|zookeeper" ``` ### 二、基础功能测试 #### 1. 创建测试主题 ```bash docker exec -it kafka /opt/bitnami/kafka/bin/kafka-topics.sh \ --create --topic test-topic \ --bootstrap-server localhost:9092 \ --partitions 1 --replication-factor 1 ``` #### 2. 启动生产者 ```bash docker exec -it kafka /opt/bitnami/kafka/bin/kafka-console-producer.sh \ --topic test-topic \ --bootstrap-server localhost:9092 ``` #### 3. 启动消费者 ```bash docker exec -it kafka /opt/bitnami/kafka/bin/kafka-console-consumer.sh \ --topic test-topic \ --bootstrap-server localhost:9092 \ --from-beginning ``` ### 三、Python客户端示例 ```python from kafka import KafkaProducer, KafkaConsumer # 生产者 producer = KafkaProducer(bootstrap_servers='localhost:9092') producer.send('test-topic', b'Hello Kafka') producer.flush() # 消费者 consumer = KafkaConsumer('test-topic', bootstrap_servers='localhost:9092') for msg in consumer: print(f"Received: {msg.value.decode('utf-8')}") ``` ### 配置说明 1. `KAFKA_CFG_ADVERTISED_LISTENERS`需设置为宿主机的IP或域名，若在远程服务器部署应改为服务器公网IP 2. 持久化数据可添加卷映射： ```yaml volumes: - ./kafka_data:/bitnami/kafka ```