kafka+zookeeper搭建服务

最新推荐文章于 2025-03-15 23:08:49 发布

原创最新推荐文章于 2025-03-15 23:08:49 发布 · 247 阅读

1 ·

CC 4.0 BY-SA版权

鹿少年

文章标签：

#kafka

服务搭建部署专栏专栏收录该内容

8 篇文章

订阅专栏

本文介绍Kafka的基本结构，包括Topic、Publisher、集群、Broker及Zookeeper的作用，并提供在Docker环境下部署Kafka的具体步骤，从搭建Zookeeper到启动Kafka容器，再到创建Topic和进行消息收发的全过程。

Kafka 结构
Topic 和 Publisher：有⼀个发布者发送消息。消息根据主题进⾏分类，每个主题都有⼀个或多个分区，并有⾃⼰的偏移地址。例如，如果我们为⼀个主题分配复制因⼦= 2，那么Kafka将为每个分区创建两个相同的副本并在群集中找到它。

集群和Brokers： Kafka集群包括代理——服务器或节点，每个代理可以位于不同的机器中，并允许订户选择消息。因此，复制就像备份分区⼀样，这意味着Kafka是持久的，这有助于容错。

Zookeeper： Kafka集群不保留其⾃身⽣态系统的元数据，因为它是⽆状态的。因此，Kafka依赖于Zookeeper来跟踪元数据。Zookeeper应该⾸先启动。实际上，Zookeeper是brokers和consumers之间的接⼝，它的存在是容错的必要条件。

Kafka代理负责负载均衡，假设该 Topic 有⼀个 Topic 和多个 Part，每个分区都有⼀个 Leader，定期确认其与Zookeeper的偏移量。因此，如果⼀个节点或代理失败，Kafka可以从Zookeeper请求的最后⼀个偏移地址继续操作，因此Zookeeper在崩溃情况下在Kafka恢复中起着⾄关重要的作⽤

docker环境部署kafka

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

启动zookeeper（先启动zookeeper）

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

启动kafka容器

 docker run  -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.36.131:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.36.131:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

4个参数：
KAFKA_BROKER_ID=0
KAFKA_ZOOKEEPER_CONNECT=192.168.36.131:2181
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.36.131:9092
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092

docker ps 查看已经启动的容器

docker ps

进入容器内部

docker exec -it  9313cf7beb19 /bin/bash

进入kafka默认目录

cd /opt/kafka_2.13-2.7.0

创建topic 运行一个消息生产者

./kafka-console-producer.sh --broker-list 192.168.36.131:9092 --topic mykafka

启动kafka消息消费端
新开一个客户端,进入kafka命令执行页面

./kafka-console-consumer.sh --bootstrap-server 192.168.36.131:9092 --topic mykafka --from-beginning

这时在生产者输入测试消息，在消费者就可以接收消息了