SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常

最新推荐文章于 2020-07-08 11:00:03 发布

原创

最新推荐文章于 2020-07-08 11:00:03 发布 · 置顶 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#OffsetOutOfRangeException异常

SparkStreaming程序在运行中因Kafka的offset清理策略导致OffsetOutOfRangeException异常，重启后仍反复出现。解决方案是调整Kafka consumer的fetch.message.max.bytes参数到适当大小，如50M，并确保replica.fetch.max.bytes与之匹配，避免broker启动问题。经过调整，SparkStreaming任务运行正常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常。

参考文章：https://www.cnblogs.com/liugh/p/6957656.html

SparkStreaming程序运行一段时间后突然挂掉了，查看yarn上的日志发现如下报错

19/05/06 17:47:15 INFO JobScheduler: Starting job streaming job 1557130920000 ms.1 from job set of time 1557130920000 ms
19/05/06 17:47:15 ERROR JobScheduler: Error running job streaming job 1557130920000 ms.0
org.apache.spark.SparkException: Job aborted due to stage failure: Task 11 in stage 14.0 failed 4 times, most recent failure: Lost task 11.3 in stage 14.0 (TID 227, node14): kafka.common.OffsetOutOfRangeException
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInst

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小白-测试

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

spark streaming kafka OffsetOutOfRangeException 异常分析与解决

xueba207的专栏

04-17

3万+

job中使用Kafka DirectStream 读取topic中数据，然后做处理。其中有个测试job，停止了几天，再次启动时爆出了**kafka.common.OffsetOutOfRangeException**。下文记录下异常分析与解决过程。

SparkStreaming读取kafka数据（4）-更新offset到zookeeper

chy2z的专栏

03-23

926

SparkStreaming读取kafka数据（2）-DirectStream方式前遍讲了Spark streaming处理kafka的数据的checkpoint机制方式 checkpoint的弊端 checkpoint的最大的弊端在于，一旦你的流式程序代码或配置改变了，或者更新迭代新功能了，这个时候，你先停旧的sparkstreaming程序，然后新的程序打包编译后执行运行，会发现两种...

参与评论您还未登录，请先登录后发表或查看评论

kafka的OffsetOutOfRangeError

weixin_33895475的博客

07-07

450

from kafka import KafkaClient, SimpleConsumer from sys import argv kafka = KafkaClient("10.0.1.100:6667") consumer = SimpleConsumer(kafka, "my-group", argv[1]) consumer.max_buffer_size=0 consum...

kafka的OffsetOutOfRangeException

天涯路的专栏

07-08

1871

从把spark 从1.3升级到1.6之后，kafka Streaming相关问题频出。最近又遇到了一个。 job中使用Kafka DirectStream 读取topic中数据，然后做处理。其中有个测试job，停止了几天，再次启动时爆出了kafka.common.OffsetOutOfRangeException。下文记录下异常分析与解决过程。异常分析从字面意思上，说是kafka topic的offset越界异常；在job中使用的是Kafka DirectStream，每成功处理一批数据，就把对应的.

spark streaming读kafka写elasticsearch

weixin_42473019的博客

03-10

624

spark streaming作为当下依然火热的流计算引擎，对于kafka和elasticsearch都有很好的api支持，以下是笔者在实际生产环境中的一个案例。首先说一下几个重点： kafka消费offset使用mysql保存，一开始使用了ScalikeJDBC这个包来实现对数据库的访问，后来项目里同时有clickhouse的JDBC工具类，两者之间产生冲突，所以就自己写了原生的mysql ...

SparkStreaming与Kafka整合及相关案例

fengge18306的博客

05-24

1124

目录 1、SparkStreaming与Kafka-0-8整合 1.1、Receiver-based Approach（不推荐使用） 1.2、Direct Approach(No Receivers) 1.3、SparkStreaming与Kafka0.8版本整合数据不丢失方案（自己管理offset） 2、SparkStreaming与Kafka-0-10整合 2.1、只有Direct Approach(No Receivers) 2.2、SparkStreaming与Kafka0....

kafka.common.OffsetOutOfRangeException 问题处理

baiyangfu的专栏

05-13

9338

昨天夜里，storm的一个程序出问题了，诚惶诚恐啊。报kafka.common.OffsetOutOfRangeException 异常：分析一下原因：是由于 kafka-spout 获取kafka的数据的时候获取不到，kafka 的 offset 超出现存的范围。深入分析：由于storm程序启动的时候，读取kafka数据的方式是从头读取（-2），当ka

Kafka 副本OffsetOutOfRangeException

jediael_lu的专栏

08-03

5094

Kafka 副本OffsetOutOfRangeException@(KAFKA)[kafka]Kafka 副本OffsetOutOfRangeException 1故障描述 2故障详细原因线程同步锁使用了写锁未使用读锁 3解决建议方法一升级至0901 方法二修改kafka代码自己编译一个版本方法三新集群上线降低问题出现概率方法四检查拓扑报警时出现若是类似异常直接重启方法五拓扑均使用opaq

Kafka kafka.common.OffsetOutOfRangeException 问题处理

diaoyueni5400的博客

10-21

471

最近公司的zk的down掉了, storm job 重启的时候报出 kafka.common.OffsetOutOfRangeException 异常网上查询了一些朋友的做法, 自己也看了一下代码, 最终还是解决了原因: zk挂掉的这几天, kafka中之前的数据已经被清掉了, 但是zk中保存的offset还是几天之前的, 导致KafkaSpout要获取的offset超过了当...

Kafka.common.offsetOutOfRangeException解决办法

徐腾瑞的博客

01-30

2330

问题产生原理： kafka会有三种日志留存策略：基于空间维度基于时间维度基于起始位移维度留存机制工作原理：每个Kafka broker启动时，都会在后台开启一个定时任务，定期去检查执行所有topic日志留存，这个定时任务触发时间周期由broker端参数 log.retention.check.interval.ms控制，默认时5分钟，即每台broker每5分钟会尝试检查...

Caused by: kafka.common.OffsetOutOfRangeException

mtj66的博客，交流WX:SpringBreeze1104

04-20

1357

val req = new TopicMetadataRequest(topics.toList, 0) val getLeaderConsumer = new SimpleConsumer(brokers, 9092, 10000, 10000, "OffsetLookup") // 第一个参数是 kafka broker 的host，第二个是 port val

apache kafka系列之server.properties配置文件参数说明

最新发布

02-22

<think>好的，用户现在问的是关于Spark Streaming如何读取Kafka的数据。之前他们问过Python操作Kafka，现在可能是在同一个项目或学习路径中进阶到流处理了。我需要先确定他们的背景和需求。首先，用户可能已经了解Kafka的基本操作，现在想用Spark Streaming进行实时数据处理。要介绍Spark Streaming和Kafka的集成方法，可能需要对比两种常用的方式：基于Receiver的方法和Direct Approach。不过现在Spark Streaming可能已经更新，需要确认最新的方法。记得用户之前用的是Python，所以可能需要PySpark的例子。不过Spark Streaming在Python中主要通过PySpark实现，而代码示例可能涉及Scala，但用户可能需要Python版本。要确保提供的代码示例是Python的。用户可能对集成步骤、依赖库、基本配置和示例代码感兴趣。需要提到必要的Maven或Gradle依赖，但如果是PySpark，可能需要提到相关的包，比如spark-streaming-kafka。不过需要注意，Spark的不同版本对应的包名称可能不同，比如Spark 2.4.x和3.x的区别。另外，用户可能关心如何设置Kafka参数，比如bootstrap servers、topic、消费者组等。还有如何处理偏移量，确保数据不丢失，以及可能的性能优化参数，比如auto.offset.reset，enable.auto.commit等。可能用户在实际操作中会遇到依赖问题，比如如何正确引入Kafka的库，或者在集群上运行时需要确保所有节点都有相应的jar包。这时候可能需要提醒他们注意版本兼容性，以及提交应用时的--packages选项。另外，需要提到结构化流（Structured Streaming）的方式，因为Spark已经逐渐转向结构化流API，可能比传统的Spark Streaming更推荐使用。所以应该包括两种方式的示例：传统的Spark Streaming和Structured Streaming。用户可能还关心数据处理后的输出操作，比如保存到HDFS、数据库或打印到控制台。需要给出保存结果的示例，比如foreachRDD或writeStream的输出模式。最后，常见问题部分需要包括偏移量管理、容错机制、性能调优，比如分区数、并行度调整，以及可能的错误处理，比如连接超时或反序列化问题。总结：需要结构清晰，分步骤介绍两种集成方式，提供Python示例，强调版本差异，依赖管理，配置参数，以及常见问题和优化建议。同时注意用户可能的PySpark背景，确保示例代码正确可用。</think>在 Spark Streaming 中读取 Kafka 数据是实时流处理的常见场景，以下是实现方法及关键步骤： --- ### 一、依赖准备 Spark 提供了两种与 Kafka 集成的 API（需根据 Spark 版本选择）： 1. **传统方式（Receiver-based）**（已逐渐淘汰） 2. **Direct Approach（推荐）**：基于 Kafka 的消费者 API，更高效且支持 Exactly-Once 语义。 **Maven/Gradle 依赖**（以 Spark 3.x + Kafka 0.10+ 为例）： ```xml  <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-