Kafka 2017 Update(1)Zookeeper Cluster and Kafka Cluster

最新推荐文章于 2025-11-10 21:21:55 发布
原创 最新推荐文章于 2025-11-10 21:21:55 发布 · 145 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #java #scala

本文详细介绍了如何在三台节点上安装配置Zookeeper集群，并进一步搭建Kafka集群的过程。包括解决常见错误及配置问题，创建Topic，运行生产者与消费者等关键步骤。
Kafka 2017 Update(1)Zookeeper Cluster and Kafka Cluster

Install Zookeeper Cluster on 3 Nodes
>wget http://mirrors.advancedhosters.com/apache/zookeeper/zookeeper-3.5.3-beta/zookeeper-3.5.3-beta.tar.gz
>tar xf zookeeper-3.5.3-beta.tar.gz
>sudo ln -s /home/ec2-user/tool/zookeeper-3.5.3 /opt/zookeeper-3.5.3
>sudo ln -s /opt/zookeeper-3.5.3 /opt/zookeeper

Add the working directory to the PATH
PATH=$PATH:/opt/zookeeper/bin

Prepare the Configuration file
>cp conf/zoo_sample.cfg conf/zoo.cfg
Try start local server
>zkServer.sh start conf/zoo.cfg

Port 8080 is used by the AdminServer which is new in 3.5.0.
Add the settings in the zkServer.sh
nohup "$JAVA" $ZOO_DATADIR_AUTOCREATE "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.admin.serverPort=8081"\
"-Dzookeeper.log.file=${ZOO_LOG_FILE}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
-XX:+HeapDumpOnOutOfMemoryError -XX:OnOutOfMemoryError='kill -9 %p' \
-cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > "$_ZOO_DAEMON_OUT" 2>&1 < /dev/null &
if [ $? -eq 0 ]

https://zookeeper.apache.org/doc/r3.5.1-alpha/zookeeperAdmin.html#sc_adminserver_config
Source code is here https://github.com/apache/zookeeper/blob/master/src/java/main/org/apache/zookeeper/server/admin/JettyAdminServer.java
It is reading from the JVM system configuration of -Dzookeeper.admin.serverPort=8081

Visit the Admin console
http://fr-stage-api:8081/commands/stats

Connect with Client
>zkCli.sh -server localhost:2181

Stop the Service
>zkServer.sh stop

Prepare the Configuration for Cluster zoo1.cfg, zoo2.cfg, zoo3.cfg, adding these lines
server.1=fr-stage-api:2888:3888
server.2=fr-stage-consumer:2888:3888
server.3=fr-perf1:2888:3888

>vi /tmp/zookeeper/myid
1
>vi /tmp/zookeeper/myid
2
>vi /tmp/zookeeper/myid
3

Copy the file to all other server and start them all.
Exception:
2018-01-02 19:38:03,370 [myid:] - ERROR [main:QuorumPeerMain@86] - Invalid config, exiting abnormally
org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Error processing conf/zoo1.cfg
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:138)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:110)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:79)
Caused by: java.lang.IllegalArgumentException: myid file is missing

Solution:
https://github.com/31z4/zookeeper-docker/issues/13
On the system settings:
ZOO_MY_ID=1
export ZOO_MY_ID

This is not necessary if I directly install zookeeper on my local.

Check status on Server
>zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

Kafka Cluster
Kafka requires Gradle 2.0 or higher
Install Gradle Manually https://gradle.org/install/#manually
>wget https://downloads.gradle.org/distributions/gradle-4.4.1-bin.zip
>unzip gradle-4.4.1-bin.zip

>sudo ln -s /home/ec2-user/tool/gradle-4.4.1 /opt/gradle-4.4.1
>sudo ln -s /opt/gradle-4.4.1 /opt/gradle

>gradle --version
------------------------------------------------------------
Gradle 4.4.1
------------------------------------------------------------
Build time: 2017-12-20 15:45:23 UTC
Revision: 10ed9dc355dc39f6307cc98fbd8cea314bdd381c
Groovy: 2.4.12
Ant: Apache Ant(TM) version 1.9.9 compiled on February 2 2017
JVM: 1.8.0_60 (Oracle Corporation 25.60-b23)
OS: Linux 4.1.13-18.26.amzn1.x86_64 amd64

Run gradle command on the source directory of Kafka
>gradle

Build Jar package
>./gradlew jar

Build the release Jar Package
>./gradlew releaseTarGz -x signArchives

Copy the binary file out to install directory
>cp ./core/build/distributions/kafka_2.11-1.0.0.tgz ~/install/

Link that from the right working directory
>sudo ln -s /home/ec2-user/tool/kafka-1.0.0 /opt/kafka-1.0.0

Prepare Single Kafka Configuration
>cat config/server.properties
zookeeper.connect=fr-stage-api:2181,fr-stage-consumer:2181,fr-perf1:2181

Start the Server
>kafka-server-start.sh config/server.properties

Prepare the Cluster Configuration
>cp config/server.properties config/server1.properties
>cp config/server.properties config/server2.properties
>cp config/server.properties config/server3.properties
broker.id=1
broker.id=2
broker.id=3

Start the first kafka on the first machine
>nohup bin/kafka-server-start.sh config/server1.properties &

Exceptions:
[2018-01-03 18:17:02,882] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn't match stored broker.id 0 in meta.properties. If you moved your data, make sure your configured broker.id matches. If you intend to create a new broker, you should remove all data in your data directories (log.dirs).
at kafka.server.KafkaServer.getBrokerIdAndOfflineDirs(KafkaServer.scala:615)
at kafka.server.KafkaServer.startup(KafkaServer.scala:201)
at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:38)
at kafka.Kafka$.main(Kafka.scala:92)
at kafka.Kafka.main(Kafka.scala)

Solution:
Clean the log directory
>rm -fr /tmp/kafka-logs/*

>nohup bin/kafka-server-start.sh config/server1.properties &
>nohup bin/kafka-server-start.sh config/server2.properties &
>nohup bin/kafka-server-start.sh config/server3.properties &

Create the topic
>bin/kafka-topics.sh --create --zookeeper fr-stage-api:2181,fr-stage-consumer:2181,fr-perf1:2181 --replication-factor 2 --partitions 2 --topic cluster1
Created topic "cluster1".

Producer
>bin/kafka-console-producer.sh --broker-list fr-stage-api:9092,fr-stage-consumer:9092,fr-perf1:9092 --topic cluster1

Consumer
>bin/kafka-console-consumer.sh --zookeeper fr-stage-api:2181,fr-stage-consumer:2181,fr-perf1:2181 --topic cluster1 --from-beginning


References:
Kafka 1~6
http://sillycat.iteye.com/blog/1563312
http://sillycat.iteye.com/blog/1563314
http://sillycat.iteye.com/blog/2015175
http://sillycat.iteye.com/blog/2015181
http://sillycat.iteye.com/blog/2094688
http://sillycat.iteye.com/blog/2108042

http://sillycat.iteye.com/blog/2215237
http://sillycat.iteye.com/blog/2183932

https://kafka.apache.org/downloads

zookeeper
http://sillycat.iteye.com/blog/2397642
http://sillycat.iteye.com/blog/2397645
Kafka 之 KRaft —— ZooKeeper 到 KRaft 的迁移
流华追梦的专栏
06-13 2140
Kafka 在 3.X 版本后内置了 KRaft 用来替代 ZooKeeper 管理集群，但是在升级的过程中发现，许多升级的文档都是只有新部署安装 KRaft 版本，而没有涉及到数据迁移相关的资料，这样如果直接变更的话，会导致 Kakfa 中的数据全部丢失，这在客户的生产环境中是不可接受的，所以本文把官网的迁移方案作了一下翻译。
使用 Docker-Compose 部署 ZooKeeper + Kafka + Kafka-UI
种一棵树最好的时间是十年前，其次是现在。
05-04 4123
使用 Docker-Compose来部署 Kafak + Zookeeper，有密码与无密码配置，使用 Kafka-UI 来连接 Kafak 集群；
kafka_zookeeper-cluster
易叔叔&博客
07-01 317
系统:CentOS7.4,多实例 yum -y install java ---zk wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz mkdir -p /usr/local/zookeeper/zkdata/{zk1,zk2,zk3} ec...
kafka启动错误——The Cluster ID ... doesn‘t match stored clusterId Some(...) in meta.properties.
nanfeng_fable的博客
12-18 3144
kafka启动报错
The Cluster ID xxx doesn't match stored clusterId Some(xxx) in meta.properties. The broker is trying
ASN_forever的博客
03-15 1万+
今天在启动kafka集群的时候报了如下错误 ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID 5wuVzKv8ST-yi888x5F5kg ...
Kafka启动报错：The Cluster ID ... doesn‘t match stored clusterId Some(...) in meta.properties.
weixin_51321404的博客
09-06 2823
在server.properties 配置文件里面 找到 log.dirs 配置的路径，在该路径下找到meta.properties文件，按照报错提示，将meta.properties文件里面的cluster.id修改为报错提示的Cluster ID，重新启动kafka。在server.properties 配置文件里面 找到 log.dirs 配置的路径，将该路径下的文件全部删除，重新启动kafka。这个可能是由于kafka重复启动或者非正常关闭造成的。
kafka报错：The Cluster ID doesn‘t match stored clusterId Some in meta.properties
记录日常开发过程中遇到的一些问题
09-18 1万+
kafka启动报错： ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID kVSgfurUQFGGpHMTBqBPiw doesn't match stored clusterId Some(0Qftv9yBTAmf2iDPSlIk7g) in meta.
Kafka 4.0移除ZooKeeper后Java客户端连接KRaft：KafkaClient与MetadataManager
最新发布
weixin_41455464的博客
11-10 792
*** 发送请求到指定的 Broker。* @param destination Broker 的地址。* @param request 请求对象。* @param requestTimeoutMs 请求超时时间。* @return 一个 Future 对象，用于获取响应结果。*//*** 关闭客户端。*//*** 获取指定 Topic 的分区信息。* @param topic Topic 名称。* @return 分区信息列表。*//**
k8s利用statefulset部署kafka集群（依赖zookeeper）
weixin_45669656的博客
09-21 1467
这里写自定义目录标题kafka需要依赖zookeeper部署zookeeper的yaml部署kafka 最近在工作上调研k8s部署kafka集群的方案，以下配置和部署方案都是亲测可用，有问题可以评论或私我解决。 kafka需要依赖zookeeper kafka的生产者与消费者需要在zookeeper中注册，不然消费者怎么知道生产者是否存活之类的哈哈。废话不多说，直接上干货！ 本文用的是statefulset和动态存储部署zookeeper和kafka集群。 部署zookeeper的yaml apiVersi
Filebeat+Kafka+ELK日志采集(三)——Zookeeper、Kafka集群
qq_40774600的博客
09-29 2572
使用K8S搭建Zookeeper集群和Kafka集群，对K8S中数据卷Volume、存储卷PersistentVolume、存储卷声明PersistentVolumeClaim等做解释说明。
kafka启动失败The Cluster ID *** doesn‘t match stored clusterId Some(***) in meta.properties The broker
热门推荐
道阻且长,行则将至 行而不辍,未来可期
08-09 2万+
前言： 启动kafka遇到问题，就是应用启动没有进行消费kafka数据导致，应用无数据入库，需要排查下问题： 1、对kafka进行重启设置，添加 startup.sh nohup bin/kafka-server-start.sh config/server.properties > temp.log & 2、异常启动日志输出如下： [2021-08-09 10:53:12,477] INFO [ZooKeeperClient Kafka server] Connected...
kafka源码分析之kafkacluster的管理-KafkaController
隔壁老杨的专栏
07-27 4541
kafka-cluster源码 kafka-leader选举源码 kafka 源码
kafka版本不匹配问题
阿生
11-01 7054
最近开发spark+kafka项目但是却遇到了很多的坑，比如Exception in thread "main" java.lang.ClassCastException: kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker这个问题比较坑，突然间一看还真的以为自己不小心写了一个类型转化的错误呢，但是实际上不是。本人开
问题：The Cluster ID XXX doesn‘t match stored clusterId Some(XXX) in meta.properties.
瑞瑞ruirui的博客
05-13 2689
问题描述： 在Zookeeper服务已经启动的前提下，Kafka启动失败。报错：The Cluster ID yKfsjtowTyu1zHuKkInesw doesn’t match stored clusterId Some(finN2zUTRWaXMomXCknRew) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong. 解决方案：
kafka: The Cluster ID kg34qdAcRIWxF77tuPLZ_w doesn't match stored clusterId Some
Postgres 数据库内核开发工程师
04-22 4736
     在Zookeeper服务已经启动的前提系，kafka启动失败，报错： ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID kg34qdA...
Kafka启动异常之InconsistentClusterIdException
踏雪无痕
06-15 7072
一.场景 kafka集群一般都是部署在zookeeper集群之上的，当Kafka出现异常时，强行关闭kafka集群或zookeeper集群时，重新启动时经常会出现异常InconsistentClusterIdException。 二.异常信息 ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdExcepti
Kafka Client类功能整理
漂泊的码农
06-24 515
AbstractRequestResponse Struct Type,可以序列化的类型 实现类， BOOLEAN，INT8，INT16，INT32，INT64，STRING，NULLABLE_STRING，BYTES，NULLABLE_BYTES，RECORDS Field 与Schema（复合对象定义） ArrayOf 数组，装饰器模式；Struct，可以被序列化的对象 AbstractRequestResponse，抽象类 AbstractResponse，模板方法，提供待对象转为各种类
Linux下如何配置Kafka Cluster (Kafka族)
daviemeng的博客
07-11 1695
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。本文介绍如何在分布式Linux系统中配置Kafka Cluster
ubantu kafka集群部署
10-31
<think>我们参考上述站内引用，结合Kafka集群部署的通用步骤，整理在Ubuntu系统上部署Kafka集群的详细步骤。注意：Kafka依赖Zookeeper，所以需要先部署Zookeeper集群。 根据引用[1][2][3][4][5]，部署步骤如下： 步骤1：准备环境 - 至少三台Ubuntu服务器（或虚拟机），假设主机名为kafka1, kafka2, kafka3，对应的IP地址分别为192.168.50.131, 192.168.50.132, 192.168.50.133（根据引用[2]的配置示例）。 - 确保每台服务器已经安装JDK8或以上版本（Kafka需要Java环境）。 - 安装必要的工具：vim, curl等（引用[2]）。 步骤2：配置网络 - 为每台服务器配置静态IP（引用[2]）。 - 配置每台服务器的hosts文件，添加集群所有节点的IP和主机名映射（引用[2]示例）： ``` 192.168.50.131 kafka1.com 192.168.50.132 kafka2.com 192.168.50.133 kafka3.com ``` 步骤3：部署Zookeeper集群（必须先行部署，引用[1]强调） - 参考引用[1]提到的另一篇博客部署Zookeeper集群（这里不展开，假设已经部署完成）。 步骤4：安装Kafka - 在每台服务器上，下载Kafka二进制包（以Kafka 2.7.0为例，也可选择其他版本，但注意版本兼容性）： ```bash wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz ``` - 解压并移动到指定目录（引用[5]示例）： ```bash tar -xzf kafka_2.13-2.7.0.tgz sudo mkdir -p /usr/local/kafka/ sudo mv kafka_2.13-2.7.0 /usr/local/kafka/ cd /usr/local/kafka/kafka_2.13-2.7.0 ``` 步骤5：配置Kafka集群 - 修改每台服务器上的Kafka配置文件 `config/server.properties`，主要配置以下参数（引用[2][3]）： ``` broker.id=1 # 每台服务器必须唯一，例如kafka1设为1，kafka2设为2，kafka3设为3 listeners=PLAINTEXT://kafka1.com:9092 # 改为当前服务器的主机名或IP，端口统一为9092 log.dirs=/tmp/kafka-logs # 建议改为其他目录，如：/usr/local/kafka/logs zookeeper.connect=kafka1.com:2181,kafka2.com:2181,kafka3.com:2181 # Zookeeper集群地址 # 其他参数根据需要调整 ``` - 注意：引用[3]中使用了多个Zookeeper节点，所以这里填写所有Zookeeper节点地址。 步骤6：启动Kafka集群 - 在每台服务器上启动Kafka服务（引用[3][5]）： ```bash # 进入Kafka目录 cd /usr/local/kafka/kafka_2.13-2.7.0 # 后台启动Kafka（注意：需要先启动Zookeeper集群） bin/kafka-server-start.sh -daemon config/server.properties ``` 步骤7：验证集群部署 - 创建Topic（在任意一台Kafka服务器上执行）： ```bash bin/kafka-topics.sh --create --zookeeper kafka1.com:2181,kafka2.com:2181,kafka3.com:2181 --replication-factor 3 --partitions 1 --topic test-topic ``` - 查看Topic列表： ```bash bin/kafka-topics.sh --list --zookeeper kafka1.com:2181,kafka2.com:2181,kafka3.com:2181 ``` - 启动生产者（在一台服务器上）： ```bash bin/kafka-console-producer.sh --broker-list kafka1.com:9092,kafka2.com:9092,kafka3.com:9092 --topic test-topic ``` - 启动消费者（在另一台服务器上）： ```bash bin/kafka-console-consumer.sh --bootstrap-server kafka1.com:9092,kafka2.com:9092,kafka3.com:9092 --topic test-topic --from-beginning ``` - 在生产者端输入消息，消费者端能接收到即表示集群部署成功。 注意事项： - 防火墙：确保相关端口（如9092, 2181等）在服务器之间开放（引用[3]提到外网通信可能需要额外配置）。 - 如果使用Docker部署（引用[4]），可以采用docker-compose方式，但步骤会有所不同（此问题要求Ubuntu原生部署，故不展开）。 以上步骤参考了多个引用源，特别是引用[2]提供了详细的配置示例，引用[3]提供了命令行操作示例。 §§相关问题§§ 1. 如何验证Kafka集群的高可用性？ 2. Kafka集群部署中常见的问题及解决方法？ 3. Kafka配置参数中哪些对性能影响较大？ 4. 如何监控Kafka集群的运行状态？ </think>### Ubuntu系统部署Kafka集群详细步骤 #### **前提条件** 1. 准备3台Ubuntu服务器（物理机或虚拟机），配置静态IP和主机名（参考引用[2]）： ``` IP 主机名 Zookeeper端口 Kafka端口 192.168.50.131 kafka1.com 2181 9092 192.168.50.132 kafka2.com 2181 9092 192.168.50.133 kafka3.com 2181 9092 ``` 2. 已部署Zookeeper集群（Kafka依赖Zookeeper协调）[^1] 3. 安装JDK 8+（Kafka基于Java开发） 4. 安装基础工具： `sudo apt update && sudo apt install vim curl -y` --- #### **部署步骤** ##### **1. 安装Kafka** ```bash # 所有节点执行 wget https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz # 下载（版本可替换） tar -xzf kafka_2.13-3.5.1.tgz sudo mkdir -p /usr/local/kafka/ sudo mv kafka_2.13-3.5.1 /usr/local/kafka/ # 移动到安装目录[^5] cd /usr/local/kafka/kafka_2.13-3.5.1 ``` ##### **2. 配置Kafka集群** 编辑配置文件 `config/server.properties`（**每台服务器需修改以下参数**）： ```properties # kafka1.com节点配置示例： broker.id=1 # 集群内唯一ID（kafka2.com改为2，kafka3.com改为3） listeners=PLAINTEXT://kafka1.com:9092 # 监听地址（改为本机主机名） log.dirs=/tmp/kafka-logs # 日志存储路径（建议改为持久化目录如/data/kafka-logs） zookeeper.connect=kafka1.com:2181,kafka2.com:2181,kafka3.com:2181 # Zookeeper集群地址[^3] ``` ##### **3. 启动Kafka集群** ```bash # 所有节点执行（后台启动） bin/kafka-server-start.sh -daemon config/server.properties ``` ##### **4. 验证集群状态** ```bash # 任意节点创建Topic（复制因子3表示数据存3份） bin/kafka-topics.sh --create \ --bootstrap-server kafka1.com:9092 \ --replication-factor 3 \ --partitions 3 \ --topic test-cluster # 查看Topic详情 bin/kafka-topics.sh --describe \ --bootstrap-server kafka1.com:9092 \ --topic test-cluster ``` **预期输出**：显示分区(Partition)的Leader和副本分布（如"Leader: 1, Replicas: 1,2,3"表明数据分布在3节点）[^3] ##### **5. 测试消息生产与消费** ```bash # 节点1启动生产者 bin/kafka-console-producer.sh \ --bootstrap-server kafka1.com:9092 \ --topic test-cluster # 节点2启动消费者 bin/kafka-console-consumer.sh \ --bootstrap-server kafka2.com:9092 \ --topic test-cluster \ --from-beginning ``` **验证**：生产端输入消息后，消费端应实时收到消息[^3][^4]。 --- #### **关键注意事项** 1. **主机名解析**：确保所有节点的`/etc/hosts`包含集群IP映射（引用[2]示例）： ``` 192.168.50.131 kafka1.com 192.168.50.132 kafka2.com 192.168.50.133 kafka3.com ``` 2. **防火墙**：开放端口 `2181`(Zookeeper), `9092`(Kafka) 3. **资源规划**：`log.dirs`目录需预留足够磁盘空间（Kafka数据持久化位置） 4. **高可用**：建议复制因子(replication-factor) ≥ 2，防止节点故障丢数据[^3]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值