在Spark Streaming DirectStream中设置User Group ID,优点是可跟踪Kafka中此Group ID的Offset,下次重启时从上次中断的地方开始读数据。但是如果Kafka中已经不保存对应Offset的数据,则会报java.lang.ClassNotFoundException: kafka.common.OffsetOutOfRangeException的错误。
解决方法:DirectStream修改User Group ID,或者采用KafkaConsumer的seek方法重设置此user group的offset,或者使用默认User Group ID
本文探讨了Spark Streaming DirectStream中设置UserGroupID的方法及其优缺点,特别是当Kafka中不再保存对应的Offset数据时如何避免出现OffsetOutOfRangeException错误。文中提供了几种解决方案,包括修改UserGroupID、使用KafkaConsumer的seek方法重置Offset等。
6321

被折叠的 条评论
为什么被折叠?



