sparkStreaming消费kafka时发生"java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange"的解决办法

sh0308

于 2018-02-27 23:03:35 发布

阅读量2.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/sh0308/article/details/79394317

在使用Spark Streaming从Kafka消费数据时遇到'java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange'错误。问题源于版本不匹配。解决方法是将编译后的class文件覆盖到spark-streaming-kafka-0-8-assembly_2.11.jar中的相应文件，参照Apache Kafka的特定提交和Stack Overflow上的讨论进行修复。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述：

开发环境为spark2.0 + kafka0.8，spark-streaming-kafka-0-8-assembly_2.11.jar
sparkStreaming消费kafka时遇到如下错误：
18/02/27 10:19:17 WARN ReceiverSupervisorImpl: Reported error Error handling message; exiting - java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V
18/02/27 10:19:17 WARN ReceiverTracker: Error reported by receiver for stream 0: Error handling message; exiting - java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V
at org.apache.kafka.common.message.KafkaLZ4BlockInputStream.read(KafkaLZ4BlockInputStream.java:176)

问题原因：

1.spark2.0用到了lz4-1.3.0.jar，kafka0.8用到了lz4-1.2.0.jar，而程序运行时使用的是lz4-1.3.0.jar。
2.lz4-1.3.0.jar包中net.jpountz.util.Utils 类中没有checkRange，该方法位于net.jpountz.util.SafeUtils和net.jpountz.util.UnsafeUtils.(lz4-1.2.0.jar包有net.jpountz.util.Utils.checkRange，但使用lz4-1.2.0.jar spa