运行SparkStreaming 示例代码报错：Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream

最新推荐文章于 2021-03-01 22:46:35 发布

阿秋秋_

最新推荐文章于 2021-03-01 22:46:35 发布

阅读量648

点赞数

分类专栏： Spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/weixin_30118267/article/details/106745248

版权

1、问题描述：

运行官网文档中Spark Streaming 读取socket流实例代码报错：

环境为kafka 0.9 + Spark 2.4

Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V
	at org.apache.spark.io.LZ4CompressionCodec.compressedInputStream(CompressionCodec.scala:122)
	at org.apache.spark.serializer.SerializerManager.wrapForCompression(SerializerManager.scala:163)
	at org.apache.spark.serializer.SerializerManager.wrapStream(SerializerManager.scala:124)
	at org.apache.spark.shuffle.BlockStoreShuffleReader$$anonfun$3.apply(BlockStoreShuffleReader.scala:50)
	at org.apache.spark.shuffle.BlockStoreShuffleReader$$anonfun$3.apply(BlockStoreShuffleReader.scala:50)

2、原因

net.jpountz.lz4 主要是这个依赖冲突导致的

kafka 0.9中是1.2版本的，而Spark中是1.3版本的

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

阿秋秋_

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.＜init＞(Ljava/io/InputStream；Z)V

大数据学习与分享的博客

08-31

2347

1. 现象在利用Spark和Kafka处理数据时，有时会同时在maven pom中引入Spark和Kafka的相关依赖。但是当利用Spark SQL处理数据生成的DataSet/DataFrame进行collect或者show等操作时，抛出以下异常信息： in stage 3.0 (TID 403, localhost, executor driver): java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init&g

Exception in thread “main“ java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.＜init＞

虎啸千峰的博客

11-03

284

quickSQL编译过程中出现：Exception in thread "main" java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V的错误。问题原因 1.spark2.4.5用到了lz4-1.3.0.jar，kafka0.9.0.1用到了lz4-1.2.0.jar，而程序运行时使用的是lz4-1.3.0.jar。解决方法 qui...

参与评论您还未登录，请先登录后发表或查看评论

java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream

我爱大数据

06-15

1164

我们在用SparkStreaming运行流式数据代码的时候可能会遇到jar包冲突的问题如下：这个报错是由于jar包冲突导致的，只需要如下操作：屏蔽掉kafka lz4版本即可，或者更换kafka版本

Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.＜init＞(Ljava/io/InputStr

Knight

12-18

996

Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V

关于spark-shell 程序执行中 net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V 问题

近海_

03-10

1273

今天在用spark-shell测试的时候，发现报了这个错误，怎么也没想明白是什么原因。可能是spark默认使用的压缩方式是lz4的，但是jar包又不缺，所以没有弄懂，后续弄懂了再来修改博客目前的解决方案：将压缩方式改成snappy，这样就不报错了，暂时能用 ./spark-shell --master local[2] --conf spark.io.compression....

Java Spark代码报错：java.lang.NoSuchMethodError:net.jpountz.lz4.LZ4BlockInputStream

weixin_34268579的博客

12-24

646

2019独角兽企业重金招聘Python工程师标准>>> ...

spark java 报错_Java Spark代码报错：java.lang.NoSuchMethodError:net.jpountz.lz4.LZ4BlockInputStream...

weixin_42347731的博客

03-01

426

问题描述今天在做项目过程中，在使用java语言创建DataFrame在窗口打印数据，编译时总是报错，通过查阅资料最终问题得到解决。记录如下：开发环境为spark2.3 + kafka0.9.0。编辑软件使用的 IntelliJ IDEA，使用的语言是java语言。在进行ds的输出时出现如下错误：Exception in thread “main” java.lang.NoSuchMethodErr...

KAFKA java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.＜init＞(Ljav

80后大叔爱学习

05-27

2300

在diea里面跑spark程序发生jar包冲突，kafka的LZ4版本屏蔽掉

SparkStreaming下Python报net.jpountz.lz4.LZ4BlockInputStream的解决

从零开始学习python --zeropython

09-12

1198

SparkStreaming下Python报net.jpountz.lz4.LZ4BlockInputStream的解决这几天在测试SparkStreaming,连接Kafka一直报这个错, Python 18/08/30 21:09:00 ERROR Utils: Uncau...

Spark java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream

大而话之-Big Data

06-26

1307

“java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)Vat 解决方法：也可通过设置"spark.io.compression.codec","snappy"或其他压缩算法规避。鉴于修改源码重新打包替换较为繁琐，建议设置其他压缩算法...

SparkStreaming 遇到LZ4BlockInputStream报错

StrangeNightmare的博客

11-05

767

今天在学习Spark的流式处理的时候，执行map算子和其他算子都正常，但是唯独执行groupbykey算子的时候回报如下错误 Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V at org.apache.spark....

kylin 2.3.1提示NoClassDefFoundError: net/jpountz/lz4/LZ4Exception

skyyws的博客

05-15

2614

目前，在使用社区版的kylin-2.3.1版本时，streaming cube在第一步就报错了，通过查看MR的错误日志，发现应该是缺少了lz4相关的包导致的。相关的错误堆栈如下所示：通过错误日志分析，应该是缺少lz4相关包导致的，我们登陆kylin的部署服务器，查看kafka部署的客户端路径下，发现有lz4相关的包：因此，猜测是相关的包，在执行MR任务的时候，没有提交到yarn上。...

（spark消费kafka有jar包冲突）java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.

zhenzi_PeppaPig的博客

11-24

2388

Spark 消费kafka时，抛出异常 “java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)Vat 原因：应用在执行时对数据解码（反序列化）时，使用了默认的lz4解压缩算法，在spark-core中依赖的lz4版本是1.4，而kafka-...

Spark 与 Kafka 集成出错: Apache Spark: java.lang.NoSuchMethodError

Liu-Cheng Xu

04-26

3834

按照 spark 与 kafka 的教程一步一步进行操作, 在运行 KafkaWordCount 的示例时，却始终没有预期的输出. 如果正确的hua话，大概是这样:...... ------------------------------------------- Time: 1488156500000 ms ------------------------------------------- (

出现 java.lang.NoSuchMethodError 错误的原因及解决方法