kafka启动报错

ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) 问题现象: 在启动kafka集群之后,发现部分机器上的kafka进程没有起起来。 原因定位: 通过在没有起起来的机器上查看kafka启动日志发现如下报错信息: ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn’t match st 阅读详情


问题1

启动kafka时报错

[2022-03-09 00:07:17,280] ERROR [KafkaServer id=1] Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
org.apache.kafka.common.KafkaException: Socket server failed to bind to a:9092: 无法指定被请求的地址.
        at kafka.network.Acceptor.openServerSocket(SocketServer.scala:450)
        at kafka.network.Acceptor.<init>(SocketServer.scala:340)
        at kafka.network.SocketServer$$anonfun$createAcceptorAndProcessors$1.apply(SocketServer.scala:146)
        at kafka.network.SocketServer$$anonfun$createAcceptorAndProcessors$1.apply(SocketServer.scala:142)
        at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
        at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
        at kafka.network.SocketServer.createAcceptorAndProcessors(SocketServer.scala:142)
        at kafka.network.SocketServer.startup(SocketServer.scala:91)
        at kafka.server.KafkaServer.startup(KafkaServer.scala:250)
        at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:38)
        at kafka.Kafka$.main(Kafka.scala:75)
        at kafka.Kafka.main(Kafka.scala)
Caused by: java.net.BindException: 无法指定被请求的地址
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:433)
        at sun.nio.ch.Net.bind(Net.java:425)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:67)
        at kafka.network.Acceptor.openServerSocket(SocketServer.scala:446)
        ... 11 more

原因:
server.properties配置文件中监听地址指向了一个
解决办法:
修改kafka/config/server.properties文件中的listeners=PLAINTEXT://hostname:9092,注意其中hostname应为本机的地址,也就是说应为每台机器的ip

问题2

[2022-03-09 00:02:37,098] ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)
java.nio.file.NoSuchFileException: config/server.properties
        at sun.nio.fs.UnixException.translateToIOException(UnixException.java:86)
        at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102)
        at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:107)
        at sun.nio.fs.UnixFileSystemProvider.newByteChannel(UnixFileSystemProvider.java:214)
        at java.nio.file.Files.newByteChannel(Files.java:361)
        at java.nio.file.Files.newByteChannel(Files.java:407)
        at java.nio.file.spi.FileSystemProvider.newInputStream(FileSystemProvider.java:384)
        at java.nio.file.Files.newInputStream(Files.java:152)
        at org.apache.kafka.common.utils.Utils.loadProps(Utils.java:560)
        at kafka.Kafka$.getPropsFromArgs(Kafka.scala:42)
        at kafka.Kafka$.main(Kafka.scala:58)
        at kafka.Kafka.main(Kafka.scala)

原因:
启动命令位置不对
解决办法:
去kafka的根目录下启动

[root@b kafka]# bin/kafka-server-start.sh config/server.properties

问题3

创建topic时报错

Error while executing topic command : Replication factor: 1 larger than available brokers: 0.
[2022-03-09 00:14:42,185] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 1 larger than available brokers: 0.

原因:
访问地址不正确
解决办法:
查看server.properties中的zookeeper.connect=a:2181,b:2181,c:2181看后面有没有/kafka,以前版本是有/kafka的,所以创建topic就需要加上

kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic topic-demo --partitions 1 --replication-factor 1

如果没有/kafka,则:

kafka-topics.sh --zookeeper localhost:2181 --create --topic topic-demo --partitions 1 --replication-factor 1

问题4

消费报错
生产:
kafka-console-producer.sh --broker-list localhost:9092 --topic topic-demo
消费:
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic-demo --from-beginning

[2022-03-09 00:42:40,715] WARN [Producer clientId=console-producer] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

原因:server.properties文件中监听的地址虽然写的是本机ip:192.168.xx.xx,但是生产ip写的localhost,消费也写的localhost,导致监听地址不同
解决办法:
listeners=PLAINTEXT://host:9092中host都统一
总之:监听,创建topic,生产,消费中ip需一致

总结

久病成医

kafka报错:FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)      测试环境中的kafka突然掉线,lsof -i:9092时候看不到kafka的进程PID。 因此肯定是有其他原因导致kafka服务宕掉。kafka的默认log日志文件在bin/的同级目录下的logs/目录之下(在保持默认配置时候). kafka服务运行状态日志是: server.log      tail -f server.log时候, 发现有如下报错:      日志提示大意是指:不安全内存访问操作中发生错误, 还有些ByteBuffer.java等类型的报错. 因此想到是不是内存空间不足, 阅读详情

相关推荐

ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.c

我开启 `ZooKeeper` 之后,准备启动 `Kafka` 服务,结果出现 `ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID Z3dsClK3TtgwPiNLIQI493 doesn't match stored clusterId Some(Zgw

优快云 精品推荐 2396

sparkstreaming消费kafka报错:Invalid url in bootstrap.servers

20/03/06 16:46:10 ERROR streaming.StreamingContext: Error starting the context, marking it as stopped org.apache.kafka.common.KafkaException: Failed to construct kafka consumer at org.apache....

xiaoge的博客 8792

Ubuntu22.04系统安装及配置

下载Ubuntu22.04系统镜像(下载地址:链接:https://caiyun.139.com/m/i?提取码:fLRJ),结合rufus和系统镜像制作USB启动盘,在物理机服务器上通过USB启动盘进行安装;或通过Esxi虚拟化平台创建虚拟机,然后在虚拟机中使用系统镜像进行安装。

cheagoun的博客 8万+

Flink消费/写入Kafka 报Invalid url in bootstrap.servers: hadoop101错误解决

Flink消费Kafka 报Invalid url in bootstrap.servers: hadoop101错误解决

weixin_52856486的博客 1203

深度探索:机器学习中的最大似然估计(MLE)原理及其应用

最大似然估计作为统计推断的核心方法,在机器学习领域具有广泛的应用价值和深远影响。尽管存在对模型假设敏感、易受异常值影响等局限性,但其直观的原理、坚实的理论基础以及高效的实现方式使其在实践中仍占据主导地位。随着深度学习、强化学习等新兴领域的快速发展,最大似然估计将继续演化并适应新的模型结构与优化框架。同时,结合现代优化算法、并行计算技术以及贝叶斯方法的融合,最大似然估计有望在保持其核心优势的同时,进一步提升参数估计的准确性和鲁棒性,为未来的机器学习研究与应用开辟更广阔的道路。

qq_51320133的博客 1万+

Power BI应用案例:淘宝用户行为分析实战

一、案例背景 基于千万级的淘宝用户的使用记录,对淘宝用户的行为进行分析,具体指标包括:日PV、日UV、小时PV、小时UV、不同用户行为的PV、用户购买次数分布、用户购买频次分布、活跃用户消费情况等。通过本案例,可以基本看看Power BI都能分析达到怎么样的效果。 二、数据来源及结构 阿里天池官方发布的1万用户在2014年双十二期间的行为记录,数据量达1200万+。 数据下载地址:...

灰哥数据智能的专栏 1万+

启动kafka报错

执行启动kafka服务的命令时报错:nohup bin/kafka-server-start.sh config/server.properties 2>&1 & [2019-07-28 12:58:44,760] ERROR [ReplicaManager broker=1] Error while making broker the follower for ...

dengmanzhou3124的博客 2524

rk3576 适配摄像头 (mipi 双摄)

RK3576 自带两个 4-Lane DPHY 和一个 DCPHY CSI 接口,可以连接 4lane 的双摄像头,最直接的方式就是充分利用其两个 D-PHY 接口。次选方案是 DCPHY + DPHY方案,更次之方案是单DPHY,设置成分离模式,连接两颗摄像头。

weixin_35723192的博客 389

cdh集群中kafka启动报错

下面贴出角色日志: 经过排查,是由于kafka内存问题,改为1G,重启就OK; 下面贴图。 文件 /var/log/kafka/kafka-broker-bj-esbp-master.w-oasis.com.log 下载完整日志     2017年12月20日中午12点09 - 2017年12月20日下午1点1

明明历险记 4323

8位2路选择器设计

8位2路选择器设计

好好学习,天天向上 4289

基于STM32设计的智能家居控制系统(华为云)_363

本项目设计并实现了一种基于STM32的智能家居控制系统,融合了语音识别、远程控制、环境监测与安全报警等功能。系统以STM32F103C8T6单片机为核心控制器,集成ESP8266 Wi-Fi模块实现与华为云IOT物联网平台的数据交互,采用MQTT协议进行通信。用户可通过语音识别模块控制风扇、空调、窗帘、卧室灯、客厅灯和电视等家电的开关操作,同时也可通过Android手机APP或Windows电脑上位机进行远程控制。系统还具备温湿度、光照强度、烟雾浓度和火焰检测功能,当检测到异常情况时,自动触发蜂鸣器报警并向

881

kafka启动报错:【Cluster ID】不匹配的问题

有时候在启动Kafka的时候会出现如下报错信息: InconsistentClusterIdException: The Cluster ID -A0n-rHCT9e5IadkrA0tkw doesn't match stored clusterId Some(E-xpRlfuRqicvCYyRf9O9w) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may

z1094219402的专栏 8455

【RT-DETR实战】RT-DETR实战手记(200):端侧实时目标检测,下一步往哪儿走?

昨天深夜调一个模型部署,在树莓派4B上跑RT-DETR-nano,帧率死活卡在8FPS上不去。量化也做了,算子也优化了,内存对齐也检查了,可就是离实时检测的底线还差一截。盯着终端里跳动的数字,突然意识到——我们可能正在接近当前技术路径的瓶颈。端侧实时目标检测的下一个突破口,恐怕不在现有框架的修修补补里。

企鹅码农的专属播客,分享10多年的实战案例和经验解读,包含YOLO、RT-DETR、AI等各个工作领域。 186

docker启动kafka报错

在容器内不能使用localhost或127.0.0.1,因为这会连接容器内的zk,而容器内没有zk,所以要使用内网ip或让kafka和zk在同一个网络内。

小诸葛的博客 294

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

kafka启动报错 InconsistentClusterIdException

通过以上步骤,Kafka 应能正常启动。如问题仍然存在,请检查防火墙设置、网络连接或 ZooKeeper 集群的健康状态。数据是正确来源(例如 ZooKeeper 数据损坏或误删)时。文件和 ZooKeeper 数据目录的权限。操作前请备份 ZooKeeper 的。确保 Kafka 进程具备读写。目录,防止误操作造成数据丢失。确保所有 Kafka 节点的。:当确认 Kafka 本地的。与 Kafka 本地文件。

gs80140的专栏 1257

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

【Kafka】关于Kafka启动时报错的解决过程

版本信息: kafka_2.12-3.1.0、apache-zookeeper-3.8.0 报错信息: [2022-03-16 05:30:57,192] WARN An exception was thrown while closing send thread for session 0x100007216820000. (org.apache.zookeeper.ClientCnxn) EndOfStreamException: Unable to read additional data f

cnskylee的博客 1万+

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

【kafka启动报错】

kafka 启动报错 ERROR Fatal error during KafkaServer startup. Prepare to shutdown

qq_35210048的博客 642

kafka 启动报错 missingTopicsFatal is true

kafka 启动报错:missingTopicsFatal is true 报错信息 org.springframework.context.ApplicationContextException: Failed to start bean 'org.springframework.kafka.config.internalKafkaListenerEndpointRegistry';...

weixin_43931625的博客 1万+

启动kafka无反应_kafka启动报错&问题解决

kafka启动报错&问题解决一早上班,就收到运维同事通知说有一台物理机宕机,导致虚拟机挂了。只得重启kafka服务器。1.启动启动zookeeperbin/zkServer.sh start conf/zoo.cfg &启动kafkabin/kafka-server-start.sh config/server.properties &2.测试问题一kafka启动之后,发现...

weixin_33794626的博客 5855

【运维】bitnami/kafka启动报错AccessDeniedException

原因是data目录的权限不够。

m0_49710410的博客 812

kafka启动报错——aboutyun

[2019-12-18 18:49:35,492] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) org.I0Itec.zkclient.exception.ZkException: Unable to connect to master:2181,slave...

火麒马 573

kafka启动报错 启动报错kafka.common.InconsistentClusterIdException:

ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID Scrz_G7nQJ-lyN230WgdXw doesn't match stored clusterId Some(ktxqiOExTKWrLeP3UG_VAQ) in meta.properties.

weixin_42267457的博客 829

Kafka linux 采坑 | 启动报错: Timed out waiting for connection while in state: CONNECTING

zookeeper 集群启动没有问题,集群状态也正常,但是启动kafka 确报了这个错误: Timed out waiting for connection while in state: CONNECTING (连接超时) [2019-05-07 16:05:46,899] INFO [ZooKeeperClient] Waiting until connected. (kafka.zoo...

qq_41497111的博客 4万+

记录一次kafka connectos之erdemcer启动报错

报错信息 [2021-07-07 16:12:36,658] ERROR WorkerSourceTask{id=oracle-logminer-connector-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:177) java.lang.ArrayIndexOutOfBoundsException: 1 at java.util.Arrays$Arra

syyyyyyyyyyyyyyh的博客 518
上一篇: hive初次启动问题
下一篇: Flume+Kafka实现日志文件流处理
hadoop的大象
博客等级 码龄7年 62粉丝 25原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值