Kafka 副本OffsetOutOfRangeException

本文详细分析了Kafka副本OffsetOutOfRangeException的问题,包括故障描述、原因和多种解决建议,如升级到0.9.0.1、自编译修复版、新集群上线等。建议在问题发生时采用临时重启或调整参数来应对。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Kafka 副本OffsetOutOfRangeException

@(KAFKA)[kafka]

https://issues.apache.org/jira/browse/KAFKA-2477
影响版本0.8&之前,修复版本0.9.0.0

1、故障描述

近期,由于kafka集群负载增大,server.log中经常出现下面的错误日志。这是kafka自身的一个bug。

简单说就是由于副本去leader请求同步数据时,发现请求的offset超出了leader的offset范围(原因见下面代码解释),从而认为副本出错了,于是删除副本数据,从leader重新同步一份数据过来。由于每个分区的数据较大(约60G),同步时间较长,在此期间,leader及replication均处于高磁盘、网络IO的状态,导致storm读取数据时超时无响应。

对于opaque拓扑,当发现某个分区不可用时,会读取其它分区。而transactional拓扑必须等这个分区恢复。因此最后的结果是SA的拓扑恢复了,而US/SDC的拓扑挂掉。

[2016-03-29 18:24:59,403] WARN [ReplicaFetcherThread-3-4], Replica 2 for partition [g17,4] reset its fetch offset from 3501121050 to current leader 4's start offset 3501121050 (kafka.server.ReplicaFetcherThread)
[2016-03-29 18:24:59,403] ERROR [ReplicaFetcherThread-3-4]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值