Spark java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream

最新推荐文章于 2024-07-26 17:23:33 发布

原创最新推荐文章于 2024-07-26 17:23:33 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

15 篇文章

订阅专栏

本文介绍了解决在使用特定压缩算法时遇到的java.lang.NoSuchMethodError错误的方法。通过设置Spark的io.compression.codec参数为snappy或其他算法，可以避免因依赖冲突导致的问题。文中提供了一个使用Python和Spark的示例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

“java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)Vat

解决方法：

也可通过设置"spark.io.compression.codec","snappy"或其他压缩算法规避。鉴于修改源码重新打包替换较为繁琐，建议设置其他压缩算法规避。

举例如下：

from pyspark import SparkContext, SparkConf
from pyspark.streaming import StreamingContext

conf = SparkConf()
conf.setMaster('local[2]')  # 表示运行在本地模式下，并且启动2个工作线程。
conf.setAppName('TestDStream').set("spark.io.compression.codec", "snappy")
sc = SparkContext(conf=conf)
ssc = StreamingContext(sc,10)
lines = ssc.textFileStream('file:///c:/12')
words = lines.flatMap(lambda line: line.split(' '))
wordCounts = words.map(lambda x: (x, 1)).reduceByKey(lambda x, y: x + y)
wordCounts.pprint()
ssc.start()  # 如果用 pyspark，到这里会循环监听，下面的语句无法输入
ssc.awaitTermination()