kafka故障

坏盘导致Kafka故障一例 最近工作中又踩到Kafka的一坑。             某日收到业务侧告警说无数据,首先怀疑Flume问题,因为之前踩的Flume坑多嘛,发现某个Flume实例中有ChannelFullException,因为用的是memory channel,确认可丢数据后杀死Flume进程,起来后channel又满了。             于是确定应该是下游Kafka问题,查了每个Kafka实例的 阅读详情

(1)Configured broker.id 3 doesn't match stored broker.id 2 in meta.properties

版本:kafka 1.1.0

操作:修改server.properties中的broker id 
一般会得到如下错误:

[2018-07-18 11:05:14,825] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.common.InconsistentBrokerIdException: Configured broker.id 3 doesn't match stored broker.id 2 in meta.properties. If you moved your data, make sure your configured broker.id matches. If
     you intend to create a new broker, you should remove all data in your data directories (log.dirs).
     at kafka.server.KafkaServer.getBrokerIdAndOfflineDirs(KafkaServer.scala:673)
     at kafka.server.KafkaServer.startup(KafkaServer.scala:209)
     at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:38)
     at kafka.Kafka$.main(Kafka.scala:92)
     at kafka.Kafka.main(Kafka.scala)
 [2018-07-18 11:05:14,842] INFO shutting down (kafka.server.KafkaServer)
 [2018-07-18 11:05:14,846] WARN  (kafka.utils.CoreUtils$)
 java.lang.NullPointerException
     at kafka.server.KafkaServer.$anonfun$shutdown$6(KafkaServer.scala:569)
     at kafka.utils.CoreUtils$.swallow(CoreUtils.scala:85)
     at kafka.server.KafkaServer.shutdown(KafkaServer.scala:569)
     at kafka.server.KafkaServer.startup(KafkaServer.scala:326)
     at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:38)
     at kafka.Kafka$.main(Kafka.scala:92)
     at kafka.Kafka.main(Kafka.scala)
 [2018-07-18 11:05:14,854] INFO [ZooKeeperClient] Closing. (kafka.zookeeper.ZooKeeperClient)

更正办法:手动修改meta.properties文件,在配置的log.dir下

vim /data1/platform/kafka/meta.properties 

如果你想改kafka的broker id,比如第一遍写错了,应该遵循两个步骤: 
1. 改server.prorperties文件配置; 
2. 改meta.properties,默认情况下,应该在/tmp/kafka-logs目录下; 
同时需注意数据存在多个目录时,需要修改多个目录的meta.propertie。

(2)kafka.common.KafkaException: Socket server failed to bind to 192.168.17.64:9092: 无法指定被请求的地址.

错误报告:

 kafka.common.KafkaException: Socket server failed to bind to 192.168.17.64:9092: 无法指定被请求的地址.
     at kafka.network.Acceptor.openServerSocket(SocketServer.scala:404)
     at kafka.network.Acceptor.<init>(SocketServer.scala:308)
     at kafka.network.SocketServer.$anonfun$createAcceptorAndProcessors$1(SocketServer.scala:126)
     at kafka.network.SocketServer.$anonfun$createAcceptorAndProcessors$1$adapted(SocketServer.scala:122)
     at scala.collection.mutable.ResizableArray.foreach(ResizableArray.scala:59)
     at scala.collection.mutable.ResizableArray.foreach$(ResizableArray.scala:52)
     at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
     at kafka.network.SocketServer.createAcceptorAndProcessors(SocketServer.scala:122)
     at kafka.network.SocketServer.startup(SocketServer.scala:84)
     at kafka.server.KafkaServer.startup(KafkaServer.scala:247)
     at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:38)
     at kafka.Kafka$.main(Kafka.scala:92)
     at kafka.Kafka.main(Kafka.scala)

更改方法:在所有机器的server.properties中添加port参数

port=9092

说明:listeners表示非kafka集群内的机器访问kafka

listeners = PLAINTEXT://192.168.17.134:9092

 

Kafka集群故障恢复 下述方法可以快速恢复kafka集群,通过kafka机制,利用推荐方案重新json,重新分配分区和副本。 阅读详情

相关推荐

Kafka:kafka的主从模式和故障切换 ②

因此,如果分区数量固定,消费者数量的上限就是分区的数量。这种方式更类似于Leader-Follower模式,而不是传统意义上的主从模式,因为在Kafka中,每个Broker(Kafka的服务器节点)都可能成为某个Partition的Leader,也可能是Follower,这取决于你如何配置和使用你的Kafka集群。需要注意的是,一个Partition在一个消费者组中,一次只能被一个消费者消费,所以消费者组中的消费者数量不能超过总的Partition数量,否则多余的消费者将会闲置。

有才而性缓,定属大才。有智而气和,斯为大智。 2174

kafka.common.InconsistentBrokerIdException: Configured broker.id 3 doesn‘t match stored broker.id 4

[2021-10-30 12:18:20,730] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentBrokerIdException: Configured broker.id 3 doesn’t match stored broker.id 4 in meta.properties. If you moved your

weixin_41877582的博客 792

深入分析Kafka架构(二):数据可靠性、故障处理

本文探讨了kafka是怎么保证数据可靠性的,以及如何实现的exactly once,并分析了kafka的故障处理策略。

静待花开 3512

【kafka集群重启服务器后启动报错详解】No `meta.properties` found in /tmp/kraft-combined-logs(两种解决方法,已解决)

原因在 /kraft/server.properties 中设置的日志目录是 /tmp/kraft-combined-logs,虚拟机重启后目录 /tmp 就被清空了,没有修改 log.dirs 日志文件存贮目录,导致启动报错找不到 meta.properties 文件在 /tmp/kraft-combined-logs 目录下

可乐的博客 6822

记录一次线上kafka故障及处理方式

线上kafka消息堆积,所有consumer全部掉线,到底怎么回事? 最近处理了一次线上故障,具体故障表现就是kafka某个topic消息堆积,这个topic的相关consumer全部掉线。 整体排查过程和事后的复盘都很有意思,并且结合本次故障,对kafka使用的最佳实践有了更深刻的理解。 好了,一起来回顾下这次线上故障吧,最佳实践总结放在最后,千万不要错过。

Java_LingFeng的博客 2069

Kafka集群模拟单节点故障

然而,节点故障是不可避免的,因此在开发和部署Kafka应用程序时,模拟并处理单节点故障是非常重要的。本文介绍了如何模拟Kafka集群中的单节点故障,并提供了相应的源代码示例。通过创建一个具有多个Broker节点的Kafka集群,并使用副本机制来处理故障,我们可以确保在节点故障期间不会丢失任何消息。这种模拟和处理节点故障的能力对于开发和部署Kafka应用程序非常重要,以确保系统的可靠性和容错性。要模拟Kafka集群中的单节点故障,我们将选择一个Broker节点,并模拟其故障。库创建了一个生产者和一个消费者。

LmzActionscript的博客 339

broker.id变更导致kafka启动不起来的问题

问题: 启动kafka时,出现以下错误提示: ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn’t match stored broker.id Some(0) in meta.properties. If you moved y

m0_48830183的博客 3157

SOI技术实战:从晶圆结构到芯片性能提升的完整解析

本文深入解析SOI(Silicon on Insulator)技术如何通过独特的三明治晶圆结构提升芯片性能,涵盖从220nm SOI层设计到7nm节点的工艺挑战。详细探讨了埋氧层的绝缘优势、性能提升的物理机制,以及AMD处理器和5G射频中的实战应用,为半导体行业提供关键技术洞见。

wdx0123456的博客 963

记一次kafka报错解决方法

报错问题 kafka[14106]: [2020-04-20 10:24:03,705] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka[14106]: kafka.common.InconsistentClusterIdException: T...

云深海阔专栏 5055

微带线,带状线和接地共面波导的区别

微带线,带状线和接地共面波导的区别

sky_ying的博客 3万+

浙政钉(专有钉钉)门户免登(超详细)

钉钉家族 介绍浙政钉门户免登之前,首先搞清楚几个软件的关系,软件分别是:钉钉,专有钉钉,浙政钉 钉钉 是阿里巴巴集团专为中小企业打造的沟通和协同的多端平台。 专有钉钉 原名 政务钉钉,有更开放的设计能力、集成能力、更结构化协同产品、更定制化开发平台。支持专有化部署,数据落本地,更安全、客户可对该产品持牌运营、结构化编排,协助构建本地应用中心、提供移动应用全面安全保障体系。 浙政钉 为规范浙政钉整体架构体系,按照统分结合原则,由省政府办公厅统一设计整体工作界面和系统框架,统筹指导全省统建应用建设,各单

一缕南风的博客 2万+

KAFKA集群,KAFKA消费者故障转移和KAFKA代理故障转移

转载:http://cloudurable.com/blog/kafka-tutorial-kafka-failover-kafka-cluster/index.html 开始使用Kafka集群教程 了解Kafka故障转移 这个Kafka教程正好从命令行中的第一个Kafka教程停止。第一个教程有关于如何运行ZooKeeper和使用Kafka utils的说明。 在本教程中,我们将在我们的开...

风吹稻花香的博客 1643

Keras神经网络可视化模块keras.utils.visualize_util的安装配置方法

本文介绍了如何安装和配置keras.utils.visualize_util模块,并提供了一个简单的示例演示如何使用该模块来可视化神经网络的结构。在上述代码中,我们首先定义了一个简单的神经网络模型,该模型具有一个输入层、一个隐藏层和一个输出层,其中隐藏层具有512个神经元,输出层具有10个神经元。运行上述代码后,我们将在当前工作目录下找到一个名为model.png的文件,它显示了神经网络的结构图。这种方式有效地展示了整个过程,让我们能够更好地理解神经网络的结构,方便对其进行改进和调试。

. 893

Kafka常见故障分析总结

最近的项目用Kafka比较多,之前碰到很多问题都是网上搜索解决的,我将我近期踩坑爬坑的一些情况稍微总结一下,希望对后面的同学有点帮助。有错误的地方欢迎留言。 kafka基础知识可以参考这里 https://www.w3cschool.cn/apache_kafka/apache_kafka_quick_guide.html 本文kafka针对版本kafka_2.12-2.1.0, 不同版本可能现象和配置有差异。 Kafka连接类故障 故障现象:kafka正常启动后,连...

starstation8的专栏 5998

vue3 - 实现WebRTC播放实时rtsp视频流+NVR录像机回放,web前端浏览器网页播放RTSP推流,支持海康威视大华等摄像头/监控设备对接(监控摄像头录像及回放,拿到rtsp视频流如何处理)

vue3,webrtc-streamer,rtsp视频流,监控画面,nvr录像机,回放功能,监控摄像头设备,vue3播放Rtsp推流示例代码,前端如何在vue3项目中播放rtsp视频流,VUE中播放RTSP实时推流播放解决方案,vue3 webrtc播放rtsp视频流,vue3实现rtsp视频流浏览器实时播放,海康摄像机、NVR、流媒体服务器、回放取流RTSP地址,vue3+vite+ts 使用webrtc-streamer播放海康rtsp监控视频,播放海康rtsp监控视频,海康摄像机/录像机预览+回放RT

✅ 精选推荐文章 1万+

基于YOLO的智能视频监控异常行为检测研究:从算法原理到落地部署的全栈实践

本文深入探讨如何利用 YOLO(You Only Look Once)系列算法构建一套端到端的异常行为检测系统。文章首先回顾 YOLOv8 在时空建模上的局限,然后提出“YOLO-STA(Spatio-Temporal Aggregation)”轻量级改进框架,在公开数据集 UCF-Crime 上将异常行为检测的 mAP@0.5 从 72.4 提升到 80.1;接着给出完整训练、推理、部署的 Python 代码(PyTorch + TensorRT),并介绍如何仅用 4 GB 显存的 Jetson Xavi

博客 1355

【Kafka专栏 04】Kafka如何处理消费者故障与活锁问题:故障?来,唠唠嗑!

Kafka作为一款高性能的分布式消息队列系统,在处理消费者故障和活锁问题时表现出了卓越的性能和稳定性。通过消费者组、偏移量提交、自动重平衡等机制以及优化消息处理逻辑、设置合理的超时时间、引入优先级机制和使用分布式锁等解决方案。

weixin_40736233的博客 1329

昇腾AI原生创新算子挑战赛(S1赛季)复盘-LessEqual算子

【代码】昇腾AI原生创新算子挑战赛(S1赛季)复盘-LessEqual算子。

william_myq的博客 510

Canal 是否可以实现连接 Kafka 的故障断点消费?Kafka故障问题

在此次实验中,我们通过搭建MySQLCanal和Kafka之间的数据链路,模拟了在 Kafka 崩溃的情况下,Canal是否能够在 Kafka 恢复后,从 MySQL 的 binlog 文件中继续读取并将未同步的数据推送到 Kafka 的能力,即断点续传能力的验证。实验结果:Canal 能够自动记录 binlog 位置:在 Kafka 崩溃期间,Canal 能够继续记录 MySQL 的 binlog 位置,确保 Kafka 恢复后,Canal 可以从崩溃前的位置继续消费数据。

m0_60298053的博客 1216

如何通过Davinci Configurator来新增一个BswM仲裁规则

详细介绍如何通过Davinci Configurator来新增一个BswM仲裁规则。

initiallizer的博客 773

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Kafka 副本 Leader 故障处理机制

Apache Kafka 是一个高性能、分布式的消息队列系统,利用分区和副本机制来保证数据的可靠性和高可用性。每个分区有一个 Leader 副本和若干个 Follower 副本。Leader 副本负责处理所有的读写请求,而 Follower 副本则从 Leader 同步数据。当 Leader 副本出现故障时,Kafka 需要快速、有效地进行处理,以保证系统的可用性和数据的一致性。本文将详细阐述 Kafka 如何处理 Leader 副本的故障。

My_wife_QBL的博客 1144

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Kafka 集群应急故障排查手册

2. Kafka 脚本路径说明 3. 快速健康检查 常见故障场景与排查步骤 场景 1: Broker Pod 无法启动 症状 Pod 状态为 、 或 Pod 反复重启 排查步骤 Step 1: 查看 Pod 状态和事件 Step 2: 查看 Pod 日志 Step 3: 检查存储问题 常见原因与解决方案:Step 4: 检查 Zookeeper 连接 场景 2: 消息生产/消费失败 症状 客户端无法连接 连接超时 认证失败 排查步骤 Step 1: 检查服务端点 Step 2: 测试网络连

喝醉酒的小白 1148

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

KAFKA节点故障的容错方案

本文主要探讨kafka集群的高可用容错方案和容错能力的探讨。在出现单机故障时相关的容错方案。 更多关于分布式系统的架构思考请参考文档[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_43845924/article/details/135713107)

李姓门徒 1783

Kafka系列 - 09 Kafka副本|Leader选举流程|Follower故障|Leader故障

Partition为2的分区有4个副本,其中 Leader为3,假如 hadoop104 挂掉了,那么Partition为2 的Leader 就会重新选举,选举的规则为:在 ISR 中存活为前提,按照AR中排在前面的优先,即新的Leader将是1。Partition为1的分区有4个副本,其中 Leader为2,假如 hadoop103 挂掉了,那么Partition为2 的Leader 就会重新选举,选举的规则为:在 ISR 中存活为前提,按照AR中排在前面的优先,即新的Leader将是1。

你今天真好看呀 2231

Kafka 高可用核心机制:Broker 故障转移详解

Kafka高可用故障转移机制详解 Kafka通过完善的故障转移机制保障高可用性,当Broker故障时能自动切换Leader,确保服务持续可用。核心流程包括:Controller检测Broker失联→从ISR副本中选举新Leader→广播元数据更新→客户端自动重连。关键机制包括:必须从ISR选举保证数据安全(unclean.leader.election=false)、心跳检测超时触发切换、重启Broker自动同步数据并回归ISR。生产环境建议配置3+个Broker、副本因子≥3、关闭unclean选举,并通

csdn_tom_168的博客 1424
上一篇: apache kafka之server.properties配置文件参数说明
下一篇: kafka安装及配置
learn_tech
博客等级 码龄10年 68粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值