java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream

最新推荐文章于 2024-07-30 03:27:39 发布
最新推荐文章于 2024-07-30 03:27:39 发布
阅读量1.1k 收藏 1
点赞数 2
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43069500/article/details/106773379
版权
本文介绍在使用SparkStreaming进行流式数据处理时遇到的jar包冲突问题，特别是kafka版本之间的冲突，并提供了解决方案，包括屏蔽特定版本的kafka jar包或更换kafka版本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  我们在用SparkStreaming运行流式数据代码的时候可能会遇到jar包冲突的问题如下：

在这里插入图片描述

  这个报错是由于jar包冲突导致的，只需要如下操作：

在这里插入图片描述

  屏蔽掉kafka lz4版本即可，或者更换kafka版本

在这里插入图片描述

java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.＜init＞(Ljava/io/InputStream；Z)V
大数据学习与分享的博客
08-31 2350
1. 现象 在利用Spark和Kafka处理数据时，有时会同时在maven pom中引入Spark和Kafka的相关依赖。但是当利用Spark SQL处理数据生成的DataSet/DataFrame进行collect或者show等操作时，抛出以下异常信息： in stage 3.0 (TID 403, localhost, executor driver): java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init&g
运行SparkStreaming 示例代码报错：Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
weixin_30118267的博客
06-14 648
1、问题描述： 运行官网文档中Spark Streaming 读取socket流 实例代码报错： 环境为kafka 0.9 + Spark 2.4 Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V at org.apache.spark.io.LZ4CompressionCodec.compressedInputStrea
Java Spark代码报错：java.lang.NoSuchMethodError:net.jpountz.lz4.LZ4BlockInputStream
weixin_34268579的博客
12-24 648
2019独角兽企业重金招聘Python工程师标准>>> ...
sparkStreaming消费kafka时发生"java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange"的解决办法
sh0308的博客
02-27 2394
问题描述：开发环境为spark2.0 + kafka0.8，spark-streaming-kafka-0-8-assembly_2.11.jarsparkStreaming消费kafka时遇到如下错误： 18/02/27 10:19:17 WARN ReceiverSupervisorImpl: Reported error Error handling message; exiting - j...
SpringBoot + Spark on Yan踩坑记
xianyuxiaoqiang的专栏
05-31 4590
终极目标 采用SpringBoot集成SparkStreaming+Kafka+Redis+HDFS等组件，打包成jar（下文将之简称为“应用”），运行在Spark on Yan环境，实现离线+实时分布式计算。 本文中采用Spark on Yan Client模式发布应用。 参考文献：https://www.cnblogs.com/langfanyun/p/8040136.html ...
关于spark-shell 程序执行中 net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V 问题
近海_
03-10 1278
今天在用spark-shell测试的时候，发现报了这个错误，怎么也没想明白是什么原因。 可能是spark默认使用的压缩方式是lz4的，但是jar包又不缺，所以没有弄懂，后续弄懂了再来修改博客 目前的解决方案： 将压缩方式改成snappy，这样就不报错了，暂时能用 ./spark-shell --master local[2] --conf spark.io.compression....
spark java 报错_Java Spark代码报错：java.lang.NoSuchMethodError:net.jpountz.lz4.LZ4BlockInputStream...
weixin_42347731的博客
03-01 433
问题描述今天在做项目过程中，在使用java语言创建DataFrame在窗口打印数据，编译时总是报错，通过查阅资料最终问题得到解决。记录如下：开发环境为spark2.3 + kafka0.9.0。编辑软件使用的 IntelliJ IDEA，使用的语言是java语言。在进行ds的输出时出现如下错误：Exception in thread “main” java.lang.NoSuchMethodErr...
（spark消费kafka有jar包冲突）java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.
zhenzi_PeppaPig的博客
11-24 2390
 Spark 消费kafka时，抛出异常 “java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.&lt;init&gt;(Ljava/io/InputStream;Z)Vat 原因： 应用在执行时对数据解码（反序列化）时，使用了默认的lz4解压缩算法，在spark-core中依赖的lz4版本是1.4，而kafka-...
KAFKA java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.＜init＞(Ljav
80后大叔爱学习
05-27 2304
在diea里面跑spark程序发生jar包冲突，kafka的LZ4版本屏蔽掉
Exception in thread “main“ java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.＜init＞
虎啸千峰的博客
11-03 284
quickSQL编译过程中出现：Exception in thread "main" java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V的错误。 问题原因   1.spark2.4.5用到了lz4-1.3.0.jar，kafka0.9.0.1用到了lz4-1.2.0.jar，而程序运行时使用的是lz4-1.3.0.jar。 解决方法 qui...
Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.＜init＞(Ljava/io/InputStr
Knight
12-18 1001
Caused by: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V
Spark java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
大而话之-Big Data
06-26 1307
“java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)Vat 解决方法： 也可通过设置"spark.io.compression.codec","snappy"或其他压缩算法规避。鉴于修改源码重新打包替换较为繁琐，建议设置其他压缩算法...
kylin 2.3.1提示NoClassDefFoundError: net/jpountz/lz4/LZ4Exception
skyyws的博客
05-15 2616
目前，在使用社区版的kylin-2.3.1版本时，streaming cube在第一步就报错了，通过查看MR的错误日志，发现应该是缺少了lz4相关的包导致的。相关的错误堆栈如下所示： 通过错误日志分析，应该是缺少lz4相关包导致的，我们登陆kylin的部署服务器，查看kafka部署的客户端路径下，发现有lz4相关的包： 因此，猜测是相关的包，在执行MR任务的时候，没有提交到yarn上。...
lz4 java代码
最新发布
weixin_41204570的博客
07-30 340
LZ4 Java代码示例与解析 LZ4是一种非常高效的压缩算法，由Yann Collet开发。它以极快的压缩和解压速度而闻名，同时保持了较高的压缩率。在Java中实现LZ4压缩和解压功能可以极大地提高数据处理的效率。本文将通过代码示例，介绍如何在Java中使用LZ4算法。 LZ4简介 LZ4算法基于Lempel-Ziv压缩...
Spark 与 Kafka 集成出错: Apache Spark: java.lang.NoSuchMethodError
Liu-Cheng Xu
04-26 3837
按照 spark 与 kafka 的教程一步一步进行操作, 在运行 KafkaWordCount 的示例时，却始终没有预期的输出. 如果正确的hua话，大概是这样:...... ------------------------------------------- Time: 1488156500000 ms ------------------------------------------- (
java.lang.NoSuchMethodError: setByteArray
07-25
回答: 根据引用\[1\]中的信息，出现"java.lang.NoSuchMethodError: setByteArray"错误可能是由于在Hibernate源码中加载antlr.jar时出现了问题。可能是因为antlr.jar没有成功加载导致的。另外，根据引用\[2\]中提到的ClassLoader的双亲委托模式加载机制，如果已经加载了一个class文件，后面相同的class文件就不会再被加载。这也可能导致出现"java.lang.NoSuchMethodError: setByteArray"错误。 #### 引用[.reference_title] - *1* *2* [java.lang.NoSuchMethodError问题的解决](https://blog.csdn.net/IT_Migrant_worker/article/details/104755250)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值