Kafka容器化集群搭建指南

原创 于 2025-12-01 15:48:37 发布 · 474 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #分布式

Kafka集群搭建指南

Kafka的运行依赖Zookeeper，本文介绍如何在docker顺利搭建一个三个broker构成的kafka集群。

📋 目录

环境说明

系统环境： Linux + CentOS + JDK8

拉取镜像

1. 拉取Zookeeper镜像

docker pull bitnami/zookeeper

2. 拉取Kafka镜像

docker pull bitnami/kafka

3. 拉取Kafka管理平台镜像

docker pull sheepkiller/kafka-manager

创建网络

创建Docker网络

docker network create knet

说明：

  • 在运行容器时指定 docker run --net knet ... 可以将容器置于子网中
  • IP地址根据进入子网的顺序递增
  • 查看子网列表：docker network ls
  • 查看子网详情：docker network inspect 子网名称

配置文件设置

约定路径

  • 节点1配置文件：/home/docker/kafka/config/node1/server.properties
  • 节点2配置文件：/home/docker/kafka/config/node2/server.properties
  • 节点3配置文件：/home/docker/kafka/config/node3/server.properties
  • Hosts文件：/home/docker/kafka/etc/hosts

📁 节点1配置文件 (server.properties)

# broker id
broker.id=1

# 监听地址
listeners=PLAINTEXT://node1:9091
advertised.listeners=PLAINTEXT://node1:9091

# 发送响应的线程数
num.network.threads=2

# io线程数
num.io.threads=4

# 发送缓存大小
socket.send.buffer.bytes=10240

# 接收缓存大小
socket.receive.buffer.bytes=10240

# 最大请求
socket.request.max.bytes=1048576

# 分区数
num.partitions=1

# zookeeper的地址
zookeeper.connect=172.18.0.2:2181

# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

📁 节点2配置文件 (server.properties)

# broker id
broker.id=2

# 监听地址
listeners=PLAINTEXT://node2:9092
advertised.listeners=PLAINTEXT://node2:9092

# 发送响应的线程数
num.network.threads=2

# io线程数
num.io.threads=4

# 发送缓存大小
socket.send.buffer.bytes=10240

# 接收缓存大小
socket.receive.buffer.bytes=10240

# 最大请求
socket.request.max.bytes=1048576

# 分区数
num.partitions=1

# zookeeper的地址
zookeeper.connect=172.18.0.2:2181

# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

📁 节点3配置文件 (server.properties)

# broker id
broker.id=3

# 监听地址
listeners=PLAINTEXT://node3:9093
advertised.listeners=PLAINTEXT://node3:9093

# 发送响应的线程数
num.network.threads=2

# io线程数
num.io.threads=4

# 发送缓存大小
socket.send.buffer.bytes=10240

# 接收缓存大小
socket.receive.buffer.bytes=10240

# 最大请求
socket.request.max.bytes=1048576

# 分区数
num.partitions=1

# zookeeper的地址
zookeeper.connect=172.18.0.2:2181

# 允许容器监听
ALLOW_PLAINTEXT_LISTENER=yes

📁 Hosts文件配置

127.0.0.1       localhost
172.18.0.3      node1
172.18.0.4      node2
172.18.0.5      node3

注意： 请严格按照zookeeper、node1、node2、node3的顺序启动容器，因为只有这样根据子网分配IP的规律上面的hosts文件各个节点的IP才对。如果子网IP不一样请修改。

运行容器

1. 启动Zookeeper

docker run -itd --name zookeeper-server -p 12181:2181 \
 --net knet -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest

2. 启动Kafka节点1

docker run -itd --name kafka-node1 --net knet -p 19091:9091 \
-v /home/docker/kafka/config/node1:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

3. 启动Kafka节点2

docker run -itd --name kafka-node2 --net knet -p 19092:9092 \
-v /home/docker/kafka/config/node2:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

4. 启动Kafka节点3

docker run -itd --name kafka-node3 --net knet -p 19093:9093 \
-v /home/docker/kafka/config/node3:/bitnami/kafka/config \
-v /home/docker/kafka/etc/hosts:/etc/hosts \
-e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

参数说明

参数说明
-e ALLOW_PLAINTEXT_LISTENER允许使用PLAINTEXT侦听器
-e KAFKA_BROKER_ID集群的broker的ID，该ID是集群的唯一标识
-e KAFKA_CFG_ZOOKEEPER_CONNECTZookeeper的连接地址
-e KAFKA_CFG_ADVERTISED_LISTENERSKafka发布到zookeeper供客户端使用的服务地址
-e TZ指定时区，这里指定亚洲上海时区，也就是东八区

集群测试

1. 检查容器状态

docker ps -a

2. 检查网络配置

docker network inspect knet

期望结果示例：

{
    "Name": "knet",
    "Id": "8dce5a7c2286dc412779f2eccc6da2ab48e84fd742df3466fe4f18fdc9b90556",
    "Scope": "local",
    "Driver": "bridge",
    "EnableIPv6": false,
    "IPAM": {
        "Driver": "default",
        "Options": {},
        "Config": [
            {
                "Subnet": "172.18.0.0/16",
                "Gateway": "172.18.0.1"
            }
        ]
    },
    "Containers": {
        "kafka-node3": {
            "Name": "kafka-node3",
            "IPv4Address": "172.18.0.5/16"
        },
        "kafka-node2": {
            "Name": "kafka-node2",
            "IPv4Address": "172.18.0.4/16"
        },
        "kafka-node1": {
            "Name": "kafka-node1",
            "IPv4Address": "172.18.0.3/16"
        },
        "zookeeper-server": {
            "Name": "zookeeper-server",
            "IPv4Address": "172.18.0.2/16"
        }
    }
}

3. 创建主题测试

进入Node1容器：

docker exec -it kafka-node1 /bin/bash
cd /opt/bitnami/kafka/bin/

创建主题：

./kafka-topics.sh --create --topic demo1 --bootstrap-server node1:9091
# 或者
./kafka-topics.sh --create --topic demo1 --bootstrap-server 127.0.0.1:9091

期望结果：

Created topic demo1.

4. 消息发送测试

./kafka-console-producer.sh --topic demo1 --bootstrap-server node1:9091

5. 消息接收测试

进入Node2容器：

docker exec -it kafka-node2 /bin/bash
cd /opt/bitnami/kafka/bin

接收消息：

./kafka-console-consumer.sh --topic demo1 --from-beginning --bootstrap-server node2:9092

Kafka管理平台

启动管理平台

docker run -it -d --rm -p 9000:9000 \
  --net knet -v /home/docker/kafka/hosts:/etc/hosts \
  -e ZK_HOSTS="172.18.0.2:2181" sheepkiller/kafka-manager

访问管理界面

  • 访问地址： http://192.168.31.200:9000
  • IP需要替换为本机实际IP地址

单节点搭建

简单方式（无自定义网络）

# 启动Zookeeper
docker run -itd --name zookeeper-server -p 12181:2181 \
  -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest

# 启动Kafka
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 \
  -e ALLOW_PLAINTEXT_LISTENER=yes \
  -e KAFKA_CFG_ZOOKEEPER_CONNECT=192.168.222.100:2181 \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.222.100:9092 \
  -e TZ="Asia/Shanghai" bitnami/kafka:latest

使用子网搭建单节点

# 1. 创建网络
docker network create knet

# 2. 启动Zookeeper
docker run -itd --name zookeeper-server -p 12181:2181 \
  --net knet -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest

# 3. 启动Kafka
docker run -d --name kafka -p 9092:9092 --net knet \
  -e KAFKA_BROKER_ID=0 \
  -e KAFKA_ZOOKEEPER_CONNECT=zookeeper-server:2181 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.107:9092 \
  -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
  -t wurstmeister/kafka

实际验证命令

集群验证（服务器：192.168.1.100）

# Zookeeper
docker run -itd --name zookeeper-server -p 12181:2181 \
  --net knet -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest

# Kafka Node1
docker run -itd --name kafka-node1 --net knet -p 19091:9091 \
  -v /u1/docker/kafka/node1:/opt/bitnami/kafka/config \
  -v /u1/docker/kafka/hosts:/etc/hosts \
  -e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

# Kafka Node2
docker run -itd --name kafka-node2 --net knet -p 19092:9092 \
  -v /u1/docker/kafka/node2:/opt/bitnami/kafka/config \
  -v /u1/docker/kafka/hosts:/etc/hosts \
  -e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

# Kafka Node3
docker run -itd --name kafka-node3 --net knet -p 19093:9093 \
  -v /u1/docker/kafka/node3:/opt/bitnami/kafka/config \
  -v /u1/docker/kafka/hosts:/etc/hosts \
  -e ALLOW_PLAINTEXT_LISTENER=yes bitnami/kafka

# Kafka Manager
docker run -it -d --rm -p 9000:9000 --net knet \
  -v /u1/docker/kafka/hosts:/etc/hosts \
  -e ZK_HOSTS="172.18.0.2:2181" sheepkiller/kafka-manager

单节点验证（服务器：192.168.1.100）

# Zookeeper
docker run -itd --name zookeeper-server -p 12181:2181 \
  -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest

# Kafka
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 \
  -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.100:12181 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.100:9092 \
  -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
  -t wurstmeister/kafka

故障排除

常见问题

  1. 连接问题： 如果遇到各种连接问题，那就是IP配置的问题，就是在监听的配置上有问题。
  2. 启动顺序： 必须严格按照zookeeper、node1、node2、node3的顺序启动容器。
  3. IP分配： 确保Hosts文件中的IP地址与实际容器IP一致。

调试命令

  • 查看容器日志： docker logs [container_name]
  • 进入容器调试： docker exec -it [container_name] /bin/bash
  • 检查网络配置： docker network inspect knet
  • 查看容器IP： docker inspect [container_name] | grep IPAddress

🎯 总结

至此，Kafka集群搭建完成。通过本指南，您可以：

  • 搭建包含3个broker的Kafka集群
  • 配置Kafka管理界面进行集群监控
  • 测试集群的消息收发功能
  • 掌握单节点和集群两种搭建方式

如遇到问题，请检查网络配置和启动顺序。

Docker：快速搭建 Kafka 集群的技术指南
木头
04-22 251
本文介绍了在Spring Boot项目中集成Apache Kafka的完整流程。Kafka作为一个高吞吐、分布式的流处理平台，具有低延迟、持久化存储和易扩展等特点。文章详细讲解了KRaft模式下Kafka集群的搭建方法，包括Docker环境配置和核心参数说明。同时提供了Spring Boot集成Kafka的实践样例，涵盖生产者/消费者代码实现和YAML配置。通过示例项目演示了消息收发流程，帮助开发者快速实现分布式消息通信功能。
Docker快速搭建Kafka集群及测试指南
weixin_45482763的博客
03-19 1902
前言 ApacheKafka是一款高吞吐量的分布式消息系统，配合Zookeeper可实现集群化部署。本文通过Docker容器技术，​3分钟快速搭建3节点Kafka集群并完成消息生产消费测试。
Docker 部署 Kafka 集群实战指南
weixin_54510197的博客
08-29 440
这篇指南详细介绍了使用Docker部署3节点Kafka集群的完整方案。文章包含架构设计、部署步骤、参数解析和验证方法，重点讲解了网络隔离、端口映射、广告地址配置等关键技术点，并提供了生产环境优化建议。通过独立网络创建、数据持久化和多端口映射，实现了高可用Kafka集群部署，适合需要快速搭建Kafka集群的开发者和运维人员参考。
Kafka KRaft SCRAM认证集群搭建
u013256012的博客
03-18 1146
软件版本。
KubeSphere 部署 Kafka 集群实战指南
KubeSphere
08-09 1879
本文档将详细阐述如何利用 Helm 这一强大的工具，快速而高效地在 K8s 集群上安装并配置一个 Kafka 集群。
K8S部署Kafka集群最全避坑指南
qq_31292011的博客
08-21 741
接下来对Zookeeper进行时区、持久化存储、副本数等配置。进入Kafka集群，创建topic查看。Helm 部署Zookeeper集群。创建Kafka namespace。helm创建Zookeeper集群。检查Zookeeper集群状态。Helm 部署Kafka集群。修改values.yaml。
Docker 部署 Kafka 完整指南
huing的博客
04-13 4011
通过以上配置，您可以快速部署适用于开发和测试环境的 Kafka 服务。生产环境请根据实际需求调整配置参数和安全设置。本指南将详细介绍如何使用 Docker 部署 Kafka 消息队列系统，包括单节点和集群模式的部署方式。部分，确保数据不会因容器重启而丢失。
Kafka集群搭建
yuyangbaby的博客
06-21 294
前提要件 1.集群搭建需要先同步时钟 参考指南 2.安装JDK，配置JAVA_HOME环境变量 参考指南 3.安装Zookeeper 参考指南 4.设置机器名与IP映射 参考指南 Kafka配置 修改配置文件 vi config/server.properties # The id of the broker. This must be set to a unique integer for each broker. #不同Kafka节点配置不同的broker id broker.id=0 # The
etcd 集群搭建与测试指南
玖拾说架构
09-17 913
etcd 集群搭建与测试指南
基于Docker的Kafka单机伪分布式集群搭建指南
综上所述，该文档所涉及的知识点涵盖了Docker网络模型、ZooKeeper集群原理、Kafka架构设计、容器化部署实践、配置文件定制、挂载卷管理、服务间通信机制等多个层面，是一套完整且实用的中间件集群搭建方案，特别适合...
容器化Kafka服务器搭建与Node.js交互指南
### Kafka容器化部署与交互 #### 使用Docker和Node.js演示Kafka 在本部分，我们将会介绍如何使用Docker容器化Apache Kafka，并通过Node.js客户端应用与之交互。Docker容器技术允许开发者将应用及其依赖打包成一个...
拒绝 Helm？ 如何在 K8s 上部署 KRaft 模式 Kafka 集群？
KubeSphere
12-19 2142
本文使用一个 Master 节点，作为 Kafka NodePort 的 IP，实际使用中建议使用多个 Worker 节点，每个 Pod 对应一个 Worker节点IP。实际测试时还可以选择 Docker 镜像或是在 K8s 集群上再创建一个 Pod，测试时连接 K8s 节点的宿主机 IP 和 NodePort。通过本文的指导，您将掌握在 Kubernetes 上部署 KRaft 模式 Kafka 集群的必备技能。Kafka 在 K8s 集群外的可用性，我在 K8s 集群外找了一台机器，
Kafka 消息中间件实战指南
码上红尘仙的博客
11-25 204
Kafka 消息中间件实战指南
Spring Boot集成Kafka：最佳实践与详细指南
最新发布
2509_94201975的博客
11-30 497
本文详细介绍了如何在Spring Boot项目中集成Kafka，并通过最佳实践和代码示例来指导你。通过合理配置Kafka、使用KafkaTemplate发送消息、使用@KafkaListener接收消息以及处理错误和监控，你可以轻松地构建高效、可靠的消息处理系统。希望本文对你有所帮助！
Kafka 技术问答总结文档（与RocketMQ对比）
weixin_44718708的博客
11-30 478
摘要：Kafka在大数据处理上优势明显，主要通过顺序追加写、Partition并行模型、零拷贝和批处理等机制实现高吞吐。相比RocketMQ的多队列多索引机制，Kafka的架构更简洁高效，适合纯高吞吐场景。RocketMQ则在业务特性上更丰富，支持事务、延迟消息等功能。Kafka通过sendfile实现零拷贝，数据直接从PageCache到网卡，避免用户态拷贝。在扩展性方面，Kafka采用Partition+Leader/Follower机制，比RocketMQ的Slot路由更轻量。两种消息队列各有侧重，K
初识Spring-Cloud——集群与分布式
多敲代码防脱发的博客
11-29 279
本文探讨了从单体架构向微服务架构的演进过程。首先分析了单体架构面临的问题：服务器负载高、业务耦合严重、故障影响范围大。解决方案包括横向扩展（集群）和纵向拆分（分布式）。集群通过多台服务器分担负载，分布式则按业务拆分系统。微服务是更细粒度的分布式架构，强调服务专业化和精细分工。与普通分布式架构相比，微服务要求解决更复杂的分布式问题。学习微服务需要掌握Java和SpringBoot基础，理解单体架构的局限性，并认识集群与分布式的区别。微服务架构能有效解决服务间相互影响的问题，提升系统可靠性。
分布式监控Skywalking安装及使用教程（保姆级教程）
2509_94088022的博客
11-30 691
本文主要讲解分布式链路追踪监控系统Skywalking的安装及使用教程，从0到1，图文并茂的保姆级教程。SkyWalking是一款用于分布式系统跟踪和性能监控的开源工具。它可以帮助开发人员了解分布式系统中不同组件之间的调用关系和性能指标，从而进行故障排查和性能优化。它支持多种语言和框架，包括Java、.NET、Node.js等。它通过在应用程序中插入代理或使用特定的SDK来收集跟踪数据，并将这些数据发送到SkyWalking服务器进行分析和展示。分布式跟踪。
分布式WEB应用中会话管理的变迁之路
2509_94087457的博客
11-30 419
利用负载均衡器的分发能力，将同一浏览器上同一用户的请求，都定向发送到固定服务器上，让这个服务器处理诠用户的所有请求，这样只要这个服务器上保存了用户Session，就能保讷用户的状态一致性。，是把原来的单体架构应用，通过分而治之的手段，按照业务功能，切分成一些小的模块应用，部署在不同服务器节点上，例如上图中的服务器A和B。在这样的单体架构中，由于所有的用户请求都是由这个唯一的服务器进行响应处理，所以只要把保存了用户信息和状态的Session对象，存放在应用服务器内存里，就能轻松地达到保持用户状态的目的。
分布式相关的好文章收集
creator_Li的博客
11-30 134
浅谈分布式事务及解决方案 | 京东物流技术团队1 背景 在讲述分布式事务的概念之前，我们先来回顾下事务相关的一些概念。 - 掘金
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值