Kafka 副本OffsetOutOfRangeException

最新推荐文章于 2024-07-21 15:48:25 发布
原创 最新推荐文章于 2024-07-21 15:48:25 发布 · 5k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细分析了Kafka副本OffsetOutOfRangeException的问题，包括故障描述、原因和多种解决建议，如升级到0.9.0.1、自编译修复版、新集群上线等。建议在问题发生时采用临时重启或调整参数来应对。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Kafka 副本OffsetOutOfRangeException

@(KAFKA)[kafka]

https://issues.apache.org/jira/browse/KAFKA-2477
影响版本0.8&之前，修复版本0.9.0.0

1、故障描述

近期，由于kafka集群负载增大，server.log中经常出现下面的错误日志。这是kafka自身的一个bug。

简单说就是由于副本去leader请求同步数据时，发现请求的offset超出了leader的offset范围（原因见下面代码解释），从而认为副本出错了，于是删除副本数据，从leader重新同步一份数据过来。由于每个分区的数据较大（约60G），同步时间较长，在此期间，leader及replication均处于高磁盘、网络IO的状态，导致storm读取数据时超时无响应。

对于opaque拓扑，当发现某个分区不可用时，会读取其它分区。而transactional拓扑必须等这个分区恢复。因此最后的结果是SA的拓扑恢复了，而US/SDC的拓扑挂掉。

[2016-03-29 18:24:59,403] WARN [ReplicaFetcherThread-3-4], Replica 2 for partition [g17,4] reset its fetch offset from 3501121050 to current leader 4's start offset 3501121050 (kafka.server.ReplicaFetcherThread)
[2016-03-29 18:24:59,403] ERROR [ReplicaFetcherThread-3-4]
最低0.47元/天 解锁文章

200万优质内容无限畅学
Kafka常见问题之Kafka 报错：org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range
王多鱼的梦想
01-25 1746
是 Kafka 中的一个异常，通常发生在消费者尝试从一个无效的偏移量读取消息时。具体来说，当消费者请求的偏移量超出了 Kafka 分区中当前可用的有效偏移量范围时，会抛出此异常。消费者请求的偏移量超出了 Kafka 分区中的最小（oldest）或最大（latest）偏移量。消费者未配置如何处理这种情况的策略，导致 Kafka 无法自动恢复偏移量。
spark streaming kafka OffsetOutOfRangeException 异常分析与解决
xueba207的专栏
04-17 3万+
job中使用Kafka DirectStream 读取topic中数据，然后做处理。其中有个测试job，停止了几天，再次启动时爆出了**kafka.common.OffsetOutOfRangeException**。下文记录下异常分析与解决过程。
kafka的OffsetOutOfRangeException
天涯路的专栏
07-08 1871
从把spark 从1.3升级到1.6之后，kafka Streaming相关问题频出。最近又遇到了一个。 job中使用Kafka DirectStream 读取topic中数据，然后做处理。其中有个测试job，停止了几天，再次启动时爆出了kafka.common.OffsetOutOfRangeException。下文记录下异常分析与解决过程。 异常分析 从字面意思上，说是kafka topic的offset越界异常；在job中使用的是Kafka DirectStream，每成功处理一批数据，就把对应的.
apache kafka系列之server.properties配置文件参数说明
热门推荐
李志涛的专栏
05-13 7万+
每个kafka broker中配置文件server.properties必须配置的属性如下：
Kafka.common.offsetOutOfRangeException解决办法
徐腾瑞的博客
01-30 2330
问题产生原理： kafka会有三种日志留存策略： 基于空间维度 基于时间维度 基于起始位移维度   留存机制工作原理： 每个Kafka broker启动时，都会在后台开启一个定时任务，定期去检查执行所有topic日志留存，这个定时任务触发时间周期由broker端参数 log.retention.check.interval.ms控制，默认时5分钟，即每台broker每5分钟会尝试检查...
Kafka 副本管理模块（五）：副本读取 fetchMessages 方法
lianggx3的博客
10-02 781
副本读取：fetchMessages方法读取需要的消息，它逻辑如下： def fetchMessages(timeout: Long, // 请求处理超时时间。 replicaId: Int, // 副本 ID。对于消费者而言，该参数值是 -1；对于 Follower 副本而言，该值就是 Follower 副本所在的 Broker ID。 fetchMinBytes: Int, // 够获取的最小字节数。
kafka源码阅读-Broker如何处理consumer消费、follower副本数据同步请求
最新发布
mhHao的博客
07-21 1034
Kafka源码包含多个模块，每个模块负责不同的功能。服务端源码：实现Kafka Broker的核心功能，包括日志存储、控制器、协调器、元数据管理及状态机管理、延迟机制、消费者组管理、高并发网络架构模型实现等。Java客户端源码：实现了Producer和Consumer与Broker的交互机制，以及通用组件支撑代码。Connect源码：用来构建异构数据双向流式同步服务。Stream源码：用来实现实时流处理相关功能。Raft源码：实现了Raft一致性协议。Admin模块。
Kafka-Partition副本同步流程与源码分析
隔壁老杨的专栏
12-28 980
Kafka-Partition副本同步流程与源码分析
kafka.common.OffsetOutOfRangeException 问题处理
baiyangfu的专栏
05-13 9338
昨天夜里，storm的一个程序出问题了，诚惶诚恐啊。报kafka.common.OffsetOutOfRangeException 异常： 分析一下原因： 是由于 kafka-spout 获取kafka的数据的时候获取不到，kafka 的 offset 超出现存的范围。 深入分析：         由于storm程序启动的时候，读取kafka数据的方式是从头读取（-2），当ka
kafka的OffsetOutOfRangeError
weixin_33895475的博客
07-07 450
from kafka import KafkaClient, SimpleConsumer from sys import argv kafka = KafkaClient("10.0.1.100:6667") consumer = SimpleConsumer(kafka, "my-group", argv[1]) consumer.max_buffer_size=0 consum...
SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常
a954194271的博客
05-07 1144
SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常。 参考文章：https://www.cnblogs.com/liugh/p/6957656.html SparkStreaming程序运行一段时间后突然挂掉了，查看yarn上的日志发现如下报错 19/05/06 17:47:15 INFO JobScheduler: Starting job...
kafka-storm spout拉取数据问题offset out of range(todo)
cglThk的专栏
12-30 5936
问题 [WARN  2014-12-29 20:40:52 KafkaUtils:185 ASpout:3-MultipleThreadSpoutExecutors] Got fetch request with offset out of range: [232]; retrying with default start offset time from configuration. conf
java 抽数out of range_[SPARK-19680] OffsetOutOfRangeException 解决方案
weixin_39981041的博客
02-27 315
当kafka中的数据丢失时，Spark程序消费kafka中数据的时候就可能会出现以下异常：Lost task 12.0 in stage 398.0 (TID 2311, localhost, executor driver): org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range wit...
Caused by: kafka.common.OffsetOutOfRangeException
mtj66的博客，交流WX:SpringBreeze1104
04-20 1357
val req = new TopicMetadataRequest(topics.toList, 0)          val getLeaderConsumer = new SimpleConsumer(brokers, 9092, 10000, 10000, "OffsetLookup") // 第一个参数是 kafka broker 的host，第二个是 port     val
ARM汇编:MOV/LDR陷阱导致offset out of range
斯蒂芬杜的博客
08-24 2521
错误现象 先来说一下最近碰到的问题。在编译阶段，编译器报如下错误信息： C:\Users\Admin\AppData\Local\Temp\1\ccQUTPlr.s: Assembler messages: C:\Users\Admin\AppData\Local\Temp\1\ccQUTPlr.s:35: Error: offset out of range 看到...out of range，我第一反应是链接文件出问题了。但立马反应过来，这还没有到链接阶段呢，在编译obj的时候就报错了。老实说，碰到这
storm 一直报错：Got fetch request with offset out of range
chifan1505的博客
07-06 404
jstorm一直刷如下错误消息： 15:43:07.952 [kafka:5-SingleThreadSpoutExecutors] WARN storm.kafka.KafkaUtils - Got fetch request with offset out of range: [22]...
spark streaming 消费kafka出现OffsetOutOfRangeException异常
qq_16220645的博客
05-09 3919
一、相关主要组件说明 1、spark 版本2.4.3 2、kafka 版本0.10 3、scala 版本2.11 4、通过redis手动维护kafka的offset 二、出现的异常如下 org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {logs.topic.records-50=3709}
kafka副本分区分配
10-16
Kafka副本分区分配是指将Kafka集群中的每个分区复制到多个Broker上，以实现高可用性和容错性。Kafka使用一种称为ISR（In-Sync Replicas）的机制来确保副本之间的同步。ISR是指已经复制了所有消息的副本集合。当一个副本落后于ISR时，它将被从ISR中删除，直到它再次追上ISR。这种机制可以确保在发生故障时，只有ISR中的副本才会被选为新的Leader。 Kafka副本分区分配的过程如下： 1. 首先，将所有Broker按照ID排序。 2. 然后，将每个分区的Leader副本分配给第一个Broker。 3. 接下来，将每个分区的第一个副本分配给第二个Broker，以此类推，直到所有副本都被分配。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值