kafka:集群启动时部分节点超时启动失败

文章描述了一次在启动Kafka集群时遇到的问题,即只有一台Kafka服务器成功启动。通过查看日志和分析,推测是由于CPU负荷高导致线程无法及时连接Zookeeper。解决方案是增加Zookeeper的连接超时时间和调整启动脚本,使得Kafka服务器依次启动,而不是同时启动。经过这些调整,Kafka集群的启动变得稳定。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题

集群启动脚本运行后,发现只有1台kafka启动成功,具体如下:

排查

启动脚本里直接启动zookeeper,睡眠后20秒启动三台kafka的,最后启动efak。具体脚本如下:

查看报错日志如下:

推测:三台kafka同时启动,对cpu负荷较高,线程没有足够的时间片来连接zookeeper。因此,有两个优化点:(1)加大kafka连接zookeeper超时时间,(2)脚本里各kafka一台一台启动而不是同时启动。

解决

1、设置kafka的config/server.properties里zookeeper.connection.timeout.ms的默认6秒改成15秒,具体如下:

2、调整启动脚本,三台kafka同时启动,只有1台能成功连接,说明单台只需少于6秒就能连接zookeeper,这里保险起见,每个kafka设置8秒钟启动,脚本调优后如下:

最后多次关闭后启动kafka集群检查服务,非常正常了,具体验证如下:

最后附下关闭脚本,zookeeper没掉线的情况下,只需关闭kafka集群中的一个节点,其它节点都会关闭

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

龙行天下_LXTX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值