Kafka安装_zookeeper无法连接坑

最新推荐文章于 2025-06-29 09:21:18 发布
最新推荐文章于 2025-06-29 09:21:18 发布
阅读量1.6w 收藏 7
点赞数
CC 4.0 BY-SA版权
文章标签： kafka zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34599132/article/details/90172771
本文详细解析了Kafka启动失败时，因Kafka与Zookeeper版本不兼容导致的连接问题。提供了检查本地Zookeeper运行状态及Kafka启动情况的方法，并指导如何通过更换版本来解决此问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Lison <cundream@163.com>, v1.0.3, 2019.03.27

摘要

解决和排查kafka安装过程中，由于kafka安装版本所使用zookeeper版本与本地zookeeper安装版本不兼容，导致kafka无法连接zookeeper的原因而导致kafka无法启动的问题

文章目录

问题描述和错误展现方式

启动kafka时，kafka一直无法连接到zookeeper，控制台日志出现以下类似的错误

[2019-03-25 15:43:57,740] INFO Opening socket connection to server cundreamc7001/192.168.237.33:2181. Will not attempt to authenticate using SASL (unknown error) (org.apache.zookeeper.ClientCnxn)
[2019-03-25 15:43:57,741] INFO Socket connection established to cundreamc7001/192.168.237.33:2181, initiating session (org.apache.zookeeper.ClientCnxn)
[2019-03-25 15:43:57,748] WARN Connected to an old server; r-o mode will be unavailable (org.apache.zookeeper.ClientCnxnSocket)
[2019-03-25 15:43:57,748] INFO Session establishment complete on server cundreamc7001/192.168.237.33:2181, sessionid = 0x169b3cac2f50002, negotiated timeout = 6000 (org.apache.zookeeper.ClientCnxn)
[2019-03-25 15:43:57,752] WARN Session 0x169b3cac2f50002 for server cundreamc7001/192.168.237.33:2181, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
java.io.IOException: Xid out of order. Got Xid 50 with err 0 expected Xid 49 for a packet with details: clientPath:null serverPath:null finished:false header:: 49,14  replyHeader:: 0,0,-4  request:: org.apache.zookeeper.MultiTransactionRecord@fabc5c55 response:: org.apache.zookeeper.MultiResponse@0
	at org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:830)
	at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:94)
	at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:366)
	at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1145)

问题排查思路和解决步骤

排查思路

遇到上述Kafka启动出现问题时，我们则可以确定是kafka连接zookeeper时出了问题。

所以怀疑出现这样连接问题的原因有以下两种情况

  1. 本地所使用zookeeper是否已经正常启动和正常连接
  2. Kafka安装包自带的zookeeper是否能够正常启动

确定本地zookeeper能够正常启动和正常连接

首先打开zookeeper所在目录使用以下命令启动zookeeper

bin/zkServer.sh start

ZooKeeper使用log4j记录消息,会在启动目录生成zookeeper.out 的日志文件

执行玩该命令后 可使用jps命令，会出现如下进程

QuorumPeerMain

然后尝试连接zookeeper

$ bin/zkCli.sh -server 127.0.0.1:2181

这使您可以执行简单的文件操作。连接后，您应该看到类似的内容：

Connecting to localhost:2181
log4j:WARN No appenders could be found for logger (org.apache.zookeeper.ZooKeeper).
log4j:WARN Please initialize the log4j system properly.
Welcome to ZooKeeper!
JLine support is enabled
[zkshell: 0]

确定Kafka能够正常启动

使用kafka一起打包的zookeeper便捷快速启动单节点zookeeper

​ 首先打开kafka所在目录使用以下命令启动kafka自带zookeeper本地节点

 bin/zookeeper-server-start.sh config/zookeeper.properties
 [2019-03-25 16:08:57,944] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...

zookeeper启动成功后，现在启动Kafka服务

 bin/kafka-server-start.sh config/server.properties
[2019-03-25 16:29:01,562] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2019-03-25 16:29:01,562] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
...
[2019-03-25 16:09:02,070] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

​ 若日志出现 INFO [KafkaServer id=0] started 则表示kafka启动成功。

问题总结

如果Kafka安装包和本地zookeeper都能够正常的启动，所以我们基本可以确定是因为我们所使用的kafka和zookeeper的版本出现了冲突或兼容问题

解决步骤

更换kafka版本

首先查看当前安装的zookeeper版本

使用以下命令查看zookeeper版本
echo stat|nc 127.0.0.1 2181
Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 04:05 GMT
Clients:
 /192.168.237.33:60380[1](queued=0,recved=236,sent=237)
 /127.0.0.1:33288[0](queued=0,recved=1,sent=0)
Latency min/avg/max: 0/1/38
Received: 308
Sent: 312
Connections: 2
Outstanding: 0
Zxid: 0x31
Mode: standalone
Node count: 25

### 如未安装nc,请用root用户执行以下命令
### yum -y install nc

然后下载对应支持的kafka版本

更换zookeeper版本

​ 首先查看kafka支持zookeeper版本，由于kafka没有像别的软件一样有，kafka -version命令，但是可以以查看kafka/libs下的库文件，知道kafka的版本号和zookeeper支持的版本,然后下载对应的zookeeper版本进行安装；

kafka无法启动，提示连接zookeeper超时
IT布道
08-16 3295
由于/etc/resolv.conf配置了域名服务器的ip，导致kafka连不上zookeeper
kafka拒绝连接zookeeper
qq_59607022的博客
12-29 966
今天遇到个问题，zookeeper启动正常，但是kafka启动老是报错，配置文件都是正常的，去查了下网上，发现是kafka消息队列拥堵，碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。当手动删除Kafka某一分片上的消息日志时，如上图蓝线所示，此是只是将Kafka Log中的信息清0了，但是Zookeeper中的Partition和Offset数据依然会记录。,删除里面的所有日志，重启kafka就好啦！A、客户端无法正常用消费；
Kafka的下载安装
qq_41946216的博客
06-29 688
Kafka 是基于 Java 的，必须先安装 JDK。 此次我们以 kafka_2.12-3.3.1.tgz 即 Kafka3.3.1 为案例，安装jdk1.8。⚠️ 注意：Kafka 3.9.0 要求本地必须安装 JDK 17 或以上版本。JDK 8 和 11 已不再被官方支持。 vi /etc/sysconfig/network-scripts/ifcfg-ens32 ---- 根据自己网卡设置。vi /etc/hosts​ 创建数据存储目录和日志目录 配置服务器编号
记一次docker安装kafka，zookeeper拒绝连接的问题
qq_39558519的博客
06-20 5040
kafka的启动参数KAFKA_ZOOKEEPER_CONNECT不能是localhost:2181，因为不是在一个容器中，localhost改为ip地址就可以了。确保 ZooKeeper 容器中的 /conf 目录中存在 log4j.properties 配置文件。nc 命令连接到 localhost:2181，确保ZooKeeper 服务器正在监听该地址，并且可以通过网络进行访问。如果 log4j.properties 文件不存在，可以在宿主机上创建一个，并将其复制到容器中。
kafka连接zookeeper失败导致无法启动
weixin_43168278的博客
05-28 1172
Linux服务器磁盘使用率100%导致kafka服务挂掉，推测是别的生产者往kafka服务器不停的塞数据把服务器塞爆了，服务器总空间60g，然后进到服务器查看kafka默认数据存储路径/tmp/kafka_logs就占了37g特别是目标topic，由于这个kafka服务器是我们组内自建的，kafka历史数据不是很重要，所以决定把目标topic删掉释放一些空间。
阿里云Linux系统 Kafak启动 zk连接不到 Will not attempt to authenticate using SASL (unknown error)
天上飞的云传奇
07-31 862
我的解决方法直接看最后面 首先遇到的问题，之前也没遇到过！！！正常启动了两天，今天晚上重新启动的时候遇到的问题。在kafka根目录输入bin/kafka-server-start.sh config/server.properties & 启动就下面这张图的错误 我的2181端口也经开放了，应该就和防火墙没啥关系了 查看通过防火墙的端口：firewall-cmd --zone=public --list-ports 开启2181端口: firewall-cmd --zone=public --
java kafka zookeeper_kafka consumer无法连接到其zookeeper
weixin_32451529的博客
02-23 986
我在ec2实例上以独立模式运行kafka和zookeeper . 我在其上创建了一个名为dev_spark1的主题 . 但是当我尝试从命令行运行使用者时，为命令提供以下错误：./bin/kafka-console-consumer.sh --zookeeper 172.31.8.226:9092 --topic dev_spark1Exception in thread "main" org.I0...
记录 || 关于我的kafka启动终是显示拒绝连接的问题
weixin_57967436的博客
04-10 5575
这个问题困扰了我2个小时之久，搜索过网上的所有办法无解。 zkCli.sh -server测试zookeeper服务。 在通过测试zookeeper服务时zkCli.sh -server 127.0.0.1：2181:2181拒绝连接而zkCli.sh -server 127.0.0.1：2181:6000则可以正常连接。我想到了拒绝连接可能是由于我的端口未配置正确的原因： 我在zookeeper配置中为避免2181端口被占用的问题，我给zookeeper定义了一个端口号供它使用 clientPort
【MQ记录】kafka 连接Zookeeper 拒绝，超时timeOut！
热门推荐
一个还不成熟、正在努力成长的博客小站。
06-15 1万+
按照官方的案例，操作如下 这个大家都会。 问题来了，老是连接失败，连接不上去。 网上的答案都是狗屎！ 问题就在于 你启动zookeeper的时候 会出现这个窗口 说明启动成功了，这个是千万不能关闭，不要Ctrl+C 一旦退出就连接不上了。 另起一个窗口，启动kafka进程 ok！连接成功 ...
kafka配置中启动zookeeper时没有启动成功的解决办法
m0_52165864的博客
07-16 3681
然后去查看/etc/hosts里面的ip地址有没有写错这里出错是因为之前里面的文件ip只写了一台虚拟机的，然后三台都加上了，然后再去查看/opt/apache-zookeeper-3.6.3-bin/conf/zoo.cfg。前面的一切配置文件配置完成之后，启动在bin目录下./zkServer.shstart，启动是成功的，然后查看状态./zkServer.shstatus。其中zoo.cfg是进行了复制操作的cpzoo_sample.cfgzoo.cfg。......
kafka连接zookeeper异常分析
星空的风fly
04-25 1万+
昨天晚上突然收到Spark任务的告警异常，立即打开电脑查看原由，经过一番分析查找，问题得到解决，习惯记录一下 一、直接问题现象 Spark读取kafka超时， 重新连接依然超时，那就是肯定是kafka出问题了 二、问题分析排查 1、分析kafka日志 查看其中一台kafka的broker日志，发现了如下错误 查看另一台kafka日志也发现同样的错误，也不用再看其它了 ...
docker 启动kafka宿主机无法访问
moliyiran的专栏
02-21 2953
先看我启动命令: docker run -e TZ="Asia/Shanghai" --privileged -itd -h single.com -p 127.0.0.1:9092:9092 -p 127.0.0.1:2181:2181 -v D:\soft:/var/soft --name single.com test/kaf:v1 /usr/sbin/init 我这里是给了域名的....
Centos下安装Zookeeper和Kafka
qq_42057890的博客
01-13 789
Centos下安装Zookeeper和Kafka 前言 Zookeeper和Kafka安装练习，ZooKeeper是用Java编写的，运行在Java环境上，因此，在部署zookeeper的机器上需要安装Java运行环境。为了正常运行zookeeper，我们需要JRE1.6或者以上的版本。 一、单机版模式 1、zookeeper安装 （1）这里使用的是apache-zookeeper-3.5.8-bin.tar.gz 这个版本，如有需要新本可自行下载，下载地址...
docker 安装 kafka-manager 报错：连接 zookeeper 超时
qq_36835255的博客
06-03 1593
使用 docker 搭建 kafka 集群 以及 kafka-manager，kafka 集群是启动成功，但 kafka-manager 管理页面不能加载出来，查看日志是连不上 zookeeper。 原来在 docker-compose.yml 配置文件里，我 kafka-manager 的 zookeeper 域名写的是 docker 容器里 zookeeper 的 ip ，正确的应该是宿主机的ip + docker 容器 zookeeper 的端口 可以看到 3 个 zookeeper IP 都是相同
kafka 连接zookeeper超时问题（zookeeper 域名&ip问题）
95年的巨蟹
05-09 7190
本文仅为其中一种情况； 使用kafka连接zookeeper集群是出现的问题； 我的情况： 虚拟机A：三个zookeeper使用不同端口组成的集群；一个kafka; 虚拟机B：一个kafka 虚拟机C：一个kafka 集群启动后，A中的kafka正常；B、C中的kafka无法启动，报下面的错； 还是太菜了，上面那条是info 不是error,盯着那条查了好久；越想越气 下面的超时报警，一搜就有结果了； 原因 配置问题： kafka中的config-->server.properties,里面的
当zookeeper报错Invalid config, exiting abnormally,Error contacting service. It is probably not running
m0_65077254的博客
02-08 3910
【已解决】当zookeeper报错Invalid config, exiting abnormally,Error contacting service. It is probably not running
成功解决kafka配置启动Zookeeper时报错Invalid config, exiting abnormally（有效）
程序猿进化梯
10-02 2799
解决方案： 在执行bat文件时将config的路径写完整 F:\kafka_2.13-3.0.0\bin\windows>zookeeper-server-start.bat config\zookeeper.properties 参考： stackoverflow.Invalid Config, Exiting abnormally when launching zookeper from Kafka tutorial ......
Kafka连接zookeeper超时
All_bitter的博客
12-18 3341
配置文件检查好几遍没有错，防火墙也没有开，zookeeper正常启动，配置的都是内网。终于，也是瞎猫碰死耗子，修改了kafka连接zookeeper的超时时间，然后居然启动了！一个头疼的事：kafka和zookeeper，部署在一台服务器，zookeeper正常启动，配置也没任何问题。但是kafka就是报错（内容如下）.希望可以帮助到大家！
Docker环境 运行Kafka容器失败
qq_31686241的博客
07-24 6286
Docker环境 运行Kafka容器失败
ERROR: missing mandatory config: KAFKA_ZOOKEEPER_CONNECT
最新发布
08-14
<think>我们正在解决Kafka配置错误：缺少必需的配置`KAFKA_ZOOKEEPER_CONNECT`。 根据引用[2]：Kafka依赖Zookeeper来存储管理的元信息和配置信息。在高版本Kafka中，慢慢的就脱离了对Zookeeper的依赖。 但是，在Kafka 2.0.0版本（如引用[1]中使用的版本）以及2.7.1版本（引用[2]下载的版本）中，仍然需要配置Zookeeper连接。 错误信息：`ERROR: missing mandatory config: KAFKA_ZOOKEEPER_CONNECT` 表明在Kafka的配置文件中没有设置`zookeeper.connect`属性。 解决方案： 1. 确保Zookeeper已经启动（如引用[3]所示）。 2. 在Kafka的配置文件（例如`server.properties`）中设置`zookeeper.connect`属性，指向Zookeeper的地址和端口。 具体步骤： 步骤1：启动Zookeeper 在Zookeeper服务器上执行启动命令（如引用[3]）： ```bash /home/zookeeper/zookeeper-3.4.9/bin/zkServer.sh start ``` 步骤2：配置Kafka的`server.properties`文件 打开Kafka的配置文件（例如`config/server.properties`），找到并设置`zookeeper.connect`属性，例如： ```properties zookeeper.connect=localhost:2181 ``` 如果Zookeeper运行在其他机器上，请将`localhost`替换为Zookeeper服务器的IP地址或主机名。 步骤3：启动Kafka服务器 使用配置文件启动Kafka服务器（如引用[1]所示）： ```bash bin/kafka-server-start.sh config/server.properties & ``` 注意：在Kafka 2.8.0及以上版本，Kafka引入了Kraft协议，可以脱离Zookeeper运行。但如果使用的是旧版本（如2.7.1及以下），则必须配置Zookeeper。 如果使用的是新版本且不想依赖Zookeeper，可以配置Kraft模式（但需要不同的配置方式，不在本问题范围内）。 因此，针对当前错误，核心解决方法是正确配置`zookeeper.connect`属性并确保Zookeeper服务可用。 引用[4]提到了在.NET Core中消费Kafka的代码，虽然与配置无关，但说明在客户端使用Kafka时，通常只需要连接Kafka brokers，而不需要直接连接Zookeeper。但Kafka服务器本身需要连接Zookeeper。 总结：配置`zookeeper.connect`即可解决该问题。 相关问题： 1. 如何配置Kafka以使用外部Zookeeper集群？ 2. Kafka脱离Zookeeper（Kraft模式）如何配置？ 3. 如何验证Zookeeper与Kafka的连接是否正常？</think>针对Kafka报错**`ERROR: missing mandatory config: KAFKA_ZOOKEEPER_CONNECT`**，以下是完整的解决方案及原理分析： --- ### 一、错误原因 此错误表示Kafka服务**未正确配置ZooKeeper连接地址**。Kafka依赖ZooKeeper进行以下核心功能[^2]： 1. **集群协调**：Broker注册、Leader选举 2. **元数据管理**：Topic分区信息、消费者偏移量 3. **配置存储**：Topic配置、ACL权限 > 在Kafka 2.8.0之前版本中，ZooKeeper是**强制依赖项**（高版本支持无ZK模式，但需显式配置）[^2]。 --- ### 二、解决方案 #### ✅ 步骤1：确认ZooKeeper已启动 检查ZooKeeper服务状态（如引用[3]所示）： ```bash $ /path/to/zookeeper/bin/zkServer.sh status # 输出示例：Mode: leader 或 Mode: follower ``` #### ✅ 步骤2：在Kafka配置中添加ZooKeeper地址 编辑Kafka配置文件（如`server.properties`或`server-1.properties`）： ```properties # 添加以下配置（假设ZK在localhost:2181） zookeeper.connect=localhost:2181 # 若ZK集群有多个节点（推荐生产环境） zookeeper.connect=zk1:2181,zk2:2181,zk3:2181/kafka # /kafka为可选命名空间 ``` #### ✅ 步骤3：验证配置并重启Kafka ```bash # 检查配置是否生效 $ grep "zookeeper.connect" config/server.properties # 重启Kafka服务 $ bin/kafka-server-start.sh config/server.properties & ``` #### ✅ 步骤4：验证连接状态 ```bash # 查看Kafka日志 $ tail -f logs/server.log # 正常输出示例：INFO [ZooKeeperClient] Connected (org.apache.kafka.zookeeper.ZooKeeperClient) # 使用ZooKeeper客户端验证 $ bin/zookeeper-shell.sh localhost:2181 ls /brokers/ids # 应返回已注册的Broker ID列表 ``` --- ### 三、配置详解 | 配置项 | 必填 | 默认值 | 说明 | |--------|------|--------|------| | **`zookeeper.connect`** | ✅ | `null` | ZooKeeper集群地址，格式：`host1:port1,host2:port2/chroot` | | `zookeeper.session.timeout.ms` | ❌ | 18000 | 会话超时时间（毫秒） | | `zookeeper.connection.timeout.ms` | ❌ | 15000 | 连接超时时间（毫秒） | > **关键点**： > - ZooKeeper地址必须在**所有Broker配置文件**中配置一致 > - 生产环境建议使用**ZK集群**（至少3节点）[^2] --- ### 四、特殊场景处理 #### 场景1：使用Docker时 在`docker-compose.yml`中配置环境变量： ```yaml services: kafka: environment: KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 # 指向ZK容器名 ``` #### 场景2：Kafka ≥2.8.0的无ZK模式（KRaft） 需显式配置KRaft模式（但仍需ZK模拟层）： ```properties # 在server.properties中 process.roles=broker,controller listeners=PLAINTEXT://:9092,CONTROLLER://:9093 controller.quorum.voters=1@kafka1:9093 # 自包含元数据管理 ``` --- ### 五、避坑指南 1. **防火墙问题** 确保Kafka节点可访问ZK的`2181`端口（生产环境需配置安全组） 2. **版本兼容性** Kafka 2.0.0需搭配ZooKeeper ≥3.5.0（如引用[1]环境） 3. **路径权限** ZooKeeper的`/brokers`路径需对Kafka Broker开放写权限 > 若问题仍存在，检查ZK日志`zookeeper.out`，常见错误如：`Connection refused`或`Session expired`。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值