Spark job jar包冲突解决方案

最新推荐文章于 2025-06-13 16:09:12 发布
原创 最新推荐文章于 2025-06-13 16:09:12 发布 · 4.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在Spark集群中因Snappy版本冲突导致的UnsatisfiedLinkError异常，并提供了详细的解决方案，包括如何通过调整类路径来避免版本冲突。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在spark上部署程序使用logback发送日志到graylog2的过程中，碰到异常：

java.lang.UnsatisfiedLinkError: org.xerial.snappy.SnappyNative.uncompressedLength(Ljava/lang/Object;II)I
	at org.xerial.snappy.SnappyNative.uncompressedLength(Native Method)
	at org.xerial.snappy.Snappy.uncompressedLength(Snappy.java:541)
	at org.xerial.snappy.SnappyInputStream.hasNextChunk(SnappyInputStream.java:350)
	at org.xerial.snappy.SnappyInputStream.rawRead(SnappyInputStream.java:158)
	at org.xerial.snappy.SnappyInputStream.read(SnappyInputStream.java:142)
	at com.esotericsoftware.kryo.io.Input.fill(Input.java:140)
	at com.esotericsoftware.kryo.io.Input.require(Input.java:155)
	at com.esotericsoftware.kryo.io.Input.readInt(Input.java:337)
	at com.esotericsoftware.kryo.util.DefaultClassResolver.readClass(DefaultClassResolver.java:109)
	at com.esotericsoftware.kryo.Kryo.readClass(Kryo.java:610)
	at com.esotericsoftware.kryo.Kryo.readClassAndObject(Kryo.java:721)
	at org.apache.spark.serializer.KryoDeserializationStream.readObject(KryoSerializer.scala:228)
	at org.apache.spark.broadcast.TorrentBroadcast$.unBlockifyObject(TorrentBroadcast.scala:217)
	at org.apache.spark.broadcast.TorrentBroadcast$$anonfun$readBroadcastBlock$1.apply(TorrentBroadcast.scala:178)
	at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1206)
	at org.apache.spark.broadcast.TorrentBroadcast.readBroadcastBlock(TorrentBroadcast.scala:165)
	at org.apache.spark.broadcast.TorrentBroadcast._value$lzycompute(TorrentBroadcast.scala:64)
	at org.apache.spark.broadcast.TorrentBroadcast._value(TorrentBroadcast.scala:64)
	at org.apache.spark.broadcast.TorrentBroadcast.getValue(TorrentBroadcast.scala:88)
	at org.apache.spark.broadcast.Broadcast.value(Broadcast.scala:70)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:62)
	at org.apache.spark.scheduler.Task.run(Task.scala:89)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:242)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at java.lang.Thread.run(Thread.java:748)

另外一个异常：

java.lang.UnsatisfiedLinkError: org.xerial.snappy.SnappyNative.maxCompressedLength(I)I
	at org.xerial.snappy.SnappyNative.maxCompressedLength(Native Method)
	at org.xerial.snappy.Snappy.maxCompressedLength(Snappy.java:316)
	at org.xerial.snappy.SnappyOutputStream.<init>(SnappyOutputStream.java:79)
	at org.apache.spark.io.SnappyCompressionCodec.compressedOutputStream(CompressionCodec.scala:156)
	at org.apache.spark.broadcast.TorrentBroadcast$$anonfun$4.apply(TorrentBroadcast.scala:200)
	at org.apache.spark.broadcast.TorrentBroadcast$$anonfun$4.apply(TorrentBroadcast.scala:200)
	at scala.Option.map(Option.scala:145)
	at org.apache.spark.broadcast.TorrentBroadcast$.blockifyObject(TorrentBroadcast.scala:200)
	at org.apache.spark.broadcast.TorrentBroadcast.writeBlocks(TorrentBroadcast.scala:102)
	at org.apache.spark.broadcast.TorrentBroadcast.<init>(TorrentBroadcast.scala:85)
	at org.apache.spark.broadcast.TorrentBroadcastFactory.newBroadcast(TorrentBroadcastFactory.scala:34)
	at org.apache.spark.broadcast.BroadcastManager.newBroadcast(BroadcastManager.scala:63)
	at org.apache.spark.SparkContext.broadcast(SparkContext.scala:1334)

 

问题原因：

应用程序使用到的snappy-java版本是1.1.1.6，但是默认加载的spark系统默认的包

CDH-5.10.2-1.cdh5.10.2.p0.5/lib/hadoop/lib/snappy-java-1.0.4.1.jar

在1.0.4.1包里没有相应的方法，所以报错。

 

TIPS:

查看具体使用的是哪个版本方法：spark-submit 的时候添加

--driver-java-options -verbose:class

 

解决方法：

spark-submit的时候添加：

--jars yourSnappyJar   \
--conf "spark.driver.extraClassPath=snappy-java-version.jar" \
--conf "spark.executor.extraClassPath=snappy-java-version.jar" \

使用spark.{driver,executor}.extraClassPath显示的把需要引用的包加入到类路径的最前面，这样就解决了spark classpath和user classpath里有相同包冲突的问题。

 

参考文献2的方法也能解决问题，但是修改了spark的全局环境，容易引起其他应用错误，故不推荐。

spark 的包依赖关系总结，请移步：https://blog.youkuaiyun.com/adorechen/article/details/80110272#summary

 

参考文献：

https://github.com/broadinstitute/gatk/issues/1873

http://community.cloudera.com/t5/Advanced-Analytics-Apache-Spark/Override-libraries-for-spark/td-p/32125

【Spark实战系列】spark 各种报错汇总以及解决方案(持续更新中)
JasonLee实时计算
01-30 6175
这篇文章主要记录下spark中遇到的各种问题,以及解决方法(以后会持续的更新) 1.File does not exist. Holder DFSClient_NONMAPREDUCE_-67513653_1 does not have any open files 今天早上发现程序报了一个这个错误,目前还没找到报错的原因,先记录一下吧. 2.org.apache.kafka.clients...
Spark, import java in scala, 报错 NoClassDefFoundError: Could not initialize class
Love-Coding
02-28 363
在scala文件里import一个java文件，报错。很可能是import的这个java文件里的。里的代码的初始化问题。
java.lang.UnsatisfiedLinkError异常的正确处理方法，亲测有效，嘿嘿嘿
PythonAigc的博客
05-04 3197
`java.lang.UnsatisfiedLinkError` 异常通常在 Java 应用程序尝试调用本地方法（即使用 Java Native Interface, JNI）时发生，但无法找到相应的本地库（`.dll` 在 Windows 上，`.so` 在 Unix-like 系统上，或 `.dylib` 在 macOS 上）或无法解析库中的特定函数时抛出。 ### 问题分析 `UnsatisfiedLinkError` 异常通常表明 Java 虚拟机（JVM）无法找到或加载所需的本地库。这可能是由
解决spark-shell中java.lang.UnsatisfiedLinkError: org.xerial.snappy.SnappyNative.maxCompressedLength(I)I
someby的博客
11-06 2083
在运行Schema Merging示例代码的时候遇到问题以及解决： 1.示例代码： // This is used to implicitly convert an RDD to a DataFrame. import spark.implicits._ // Create a simple DataFrame, store into a partition directory val s...
M1 芯片部署maxwell启动报错：org.xerial.snappy.SnappyError: [FAILED_TO_LOAD_NATIVE_LIBRARY] no native library
最新发布
u011315650的专栏
06-13 279
在maven仓库中找到了snappy-java-1.1.8.4.jar 文件放到到maxwell安装路径中的lib目录，将旧版重命名。业务场景：在M1Pro macbookpro上部署maxwell采集业务库Mysql中变动的数据到kafka。启动maxwell命令： maxwell --config ../config.properties。总结：此报错是由于snappy低版本不支持mac os导致的。启动正常，测试采集数据无问题。Mysql8（配置binlog）Maxwell（配置kafka）
Could not initialize class org.xerial.snappy.Snappy解决方法
weixin_36585549的博客
01-15 5222
最近在用spark消费kafka数据时，在集群上跑着跑着程序就挂掉了。报的错误是 Could not initialize class org.xerial.snappy.Snappy 在网上查了下，报错的原因是snappy将.so文件解压到了/tmp目录下，如果/tmp目录因为种种原因撑爆了，那就gg了。 This is generally caused by by snappy librar...
java.lang.UnsatisfiedLinkError异常的正确解决方法，亲测有效嘿嘿嘿
PythonAigc的博客
05-01 7935
`java.lang.UnsatisfiedLinkError` 是 Java 在尝试调用本地方法（即 native 方法）时发生的错误。当 Java 虚拟机（JVM）找不到指定的本地库（通常是 `.dll`、`.so` 或 `.dylib` 文件），或者本地库中的方法签名与 Java 方法声明的签名不匹配时，就会抛出这个异常。 ### 报错原因 1. **本地库未加载**：可能是因为本地库文件不存在、路径不正确，或者没有正确地在 Java 程序中加载。 2. **方法签名不匹配**：Java 程序中声
Spark依赖包加载顺序和冲突解决方案
freeRoad
05-31 1万+
Spark 依赖包来源 我们知道Spark application运行加载依赖有三个地方： SystemClasspath -- Spark安装时候提供的依赖包 Spark-submit --jars 提交的依赖包 Spark-submit --config "spark.{driver/executor}.extraClassPath=someJar"提交的依赖包 Spark...
启动Kylin jar包冲突怎么办
qq_48784015的博客
10-23 586
  安装Kylin前需先部署好Hadoop、Hive、Zookeeper、HBase，并且需要在/etc/profile中配置以下环境变量HADOOP_HOME，HIVE_HOME，HBASE_HOME，并source使其生效。   由于Kylin第一次启动时会去Hadoop、HBASE、hive、kafka、spark中读取相应jar包，并在其lib目录下生成这几个文件。   由于各种版本问题，难免会产生jar包冲突，如果产生冲突就需要去相应的find-xxxx-dependency.sh 配置文件中加
Spark宝典
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
01-01 2609
spark宝典
【spark】【在YARN上运行Spark】【Running Spark on YARN】
wq6qeg88的博客
02-17 1189
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
大数据常见错误及解决方案
lv_hulk的博客
02-16 9638
大数据常见错误及解决方案（转载） 1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can’t assign requested address: Service ‘sparkDriver’ failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP=“127.0.0.1” to spark-env.sh 2、java Kafka producer error:ERROR kafka.util
【spark】Could not initialize class org.apache.spark.internal.config.package$
CL有毒
08-30 6561
Could not initialize class org.apache.spark.internal.config.package$ Could not initialize class org.apache.spark.internal.config.package$ 问题描述 解决思路 总结 问题描述 有一个spark sql项目，使用local[*]模式测试，在本地...
已解决java.lang.UnsatisfiedLinkError: 不满足链接错误异常的正确解决方法，亲测有效！！！
小明的Java问道之路
04-24 5022
已解决java.lang.UnsatisfiedLinkError: 不满足链接错误异常的正确解决方法，亲测有效！！！
使用Snappy 压缩方式报错“java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path”...
weixin_30741653的博客
08-08 572
情况描述 其实这个问题已经困扰我很久了，最近在公司Linux上搭建hadoop 和 spark环境的时候，我就遇到 spark提交作业到yarn 集群就报错这个错，当时已经安装snappy环境了，任何关于snappy静态库都编译了，这是我提交到spark mail list上的http://apache-spark-user-list.1001560.n3.nabble.co...
“Caused by: java.lang.UnsatisfiedLinkError ”错误的解决方案
热门推荐
JtooZC的博客
06-04 1万+
Android 调用第三方依赖包的用到so库的时候   当你加载多个so库的时候有可能会遇到Caused by: java.lang.UnsatisfiedLinkError 的 这种错误  最终的解决方案  是在 build.gradle的配置文件中{android } 下面加入以下代码即可解决错误android{ ndk { abiFilters = ["arme...
snappy jetty error:SnappyNative.maxCompressedLength(I)I
zhuduan1的专栏
09-05 1720
需要用snappy继续数据压缩时，出现了标题中的错误。 纠结了很久之后，终于发现问题所在。 可惜对jetty不熟，又纠结了很久jetty的配置问题。 希望能对有同样问题的亲们有所帮助。 问题解决方案参考： https://groups.google.com/forum/#!topic/xerial/ActV3936iKY 问题描述： snappy 报错：Snapp
【Java报错已解决】java.lang.UnsatisfiedLinkError
鸽芷咕的博客
11-10 6701
在Java开发的世界里，我们时常会遇到各种各样的报错，其中java.lang.UnsatisfiedLinkError就像一个隐藏在暗处的幽灵，常常让开发者和环境配置者们感到困惑和无奈。这个错误一旦出现，可能会使我们精心编写的Java程序戛然而止，严重影响项目的开发进度和稳定性。那么，这个神秘的UnsatisfiedLinkError究竟是如何产生的？又该如何有效地解决它呢？让我们一起深入探究这个恼人的报错问题。
M1芯片MacBook Pro解决snappy-java的FAILED_TO_LOAD_NATIVE_LIBRARY问题
Sword_Zhao的博客
07-12 3693
M1芯片MacBook Pro解决snappy-java的FAILED_TO_LOAD_NATIVE_LIBRARY问题
我自己导入的jar包应该放在哪里？
03-01
<think>好的，用户之前问了关于Hadoop MapReduce中主类全限定名的问题，现在又问导入的jar包应该放在哪里。我需要先确定用户的使用场景。用户可能是在开发Hadoop应用，遇到了依赖管理的问题，或者是在部署时遇到了类路径的问题。 用户可能是Hadoop的初学者，不太清楚如何管理第三方库。他们可能自己写了一个MapReduce作业，需要用到外部的jar包，比如JSON解析库或者其他工具库。这时候需要知道这些jar包应该放在哪里才能被Hadoop正确加载。 接下来，我需要回忆Hadoop处理依赖的方式。Hadoop作业在集群运行时，依赖的jar包需要被打包到作业的jar文件中，或者通过Hadoop的分布式缓存机制添加到classpath中。另外，如果是本地模式运行，可能需要将jar包放在本地classpath下。 用户的真实需求可能是想让他们的应用程序能够正确引用这些第三方库，避免ClassNotFoundException。他们可能尝试过直接放在某个目录但没成功，或者不确定正确的做法。需要给出不同情况下的解决方案，比如打包到uber jar，使用-libjars选项，或者修改Hadoop的环境变量。 另外，用户可能没有使用构建工具，或者对Maven/Gradle不熟悉，所以需要给出手动处理的方法，同时也推荐使用构建工具来简化依赖管理。需要分情况说明，比如本地开发、集群提交等不同场景下的处理方式。 还要注意常见的错误，比如路径错误、权限问题，以及Hadoop版本和依赖库的兼容性问题。需要提醒用户检查这些方面，确保jar包的正确性和兼容性。 最后，总结最佳实践，比如优先使用构建工具，明确作用域，避免冲突，这样用户能够有一个清晰的指导，避免后续再遇到类似问题。</think>在Hadoop生态系统中处理第三方JAR包依赖时，需根据具体使用场景选择部署方式。以下是不同情况下的详细解决方案： ### 一、本地开发模式 $$ \text{Classpath管理} = \begin{cases} \text{IDE直接添加} & \text{推荐方案} \\ \text{手动配置路径} & \text{备用方案} \end{cases} $$ 1. **IDE集成开发（推荐）** 以IntelliJ IDEA为例： ```mermaid graph TD A[项目结构] --> B[Modules] B --> C[Dependencies] C --> D[+] D --> E[选择JAR文件] ``` 建议使用Maven/Gradle管理依赖： ```xml <!-- Maven示例 --> <dependency> <groupId>com.example</groupId> <artifactId>custom-lib</artifactId> <version>1.0.0</version> </dependency> ``` 2. **命令行编译（需配置环境变量）** 通过`-cp`参数指定类路径： ```bash javac -cp "/path/to/your/*:hadoop-classpath" YourClass.java ``` ### 二、集群运行模式 #### 方案1：打包Uber JAR（首选） 使用Maven Shade插件创建包含所有依赖的Fat JAR： ```xml <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.2.4</version> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> </execution> </executions> </plugin> ``` 生成路径：`target/your-project-1.0-SNAPSHOT-shaded.jar` #### 方案2：分布式缓存机制 通过`-libjars`参数动态分发依赖： ```bash hadoop jar your-job.jar \ -libjars /path/to/custom.jar \ input_path output_path ``` 需在Driver类中添加： ```java job.addFileToClassPath(new Path("/path/to/custom.jar")); ``` #### 方案3：HDFS全局部署（慎用） ```bash # 上传到HDFS公共目录 hdfs dfs -put custom.jar /common-libs/ # 配置所有节点的HADOOP_CLASSPATH export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/common-libs/custom.jar ``` ### 三、特殊场景处理 1. **Hive/UDF场景** 在Hive CLI中添加临时依赖： ```sql ADD JAR /path/to/custom.jar; CREATE TEMPORARY FUNCTION my_udf AS 'com.example.MyUDF'; ``` 2. **Spark集成** 使用`--jars`参数或`spark.jars`配置： ```bash spark-submit --jars /path/to/custom.jar your_spark_app.py ``` ### 四、路径配置对照表 | 部署方式 | 物理路径 | 生效范围 | 适用场景 | |-------------------|-----------------------------|----------------|----------------------| | Uber JAR | 包含在应用程序JAR内 | 作业级别 | 标准MapReduce作业 | | -libjars | 本地文件系统 | 单个作业 | 临时调试/快速验证 | | HADOOP_CLASSPATH | 所有节点相同路径 | 集群全局 | 基础工具库 | | HDFS公共目录 | hdfs:///common-libs/ | 所有HDFS作业 | 高频使用公共库 | ### 五、验证依赖是否生效 通过Runtime类检查类路径： ```java public class ClassPathChecker { public static void main(String[] args) { String classpath = System.getProperty("java.class.path"); System.out.println("Current Classpath: \n" + classpath); } } ``` 运行输出示例： ``` Current Classpath: /path/to/custom.jar:/opt/hadoop/share/hadoop/common/*:... ``` ### 六、常见错误排查 1. **ClassNotFoundException** - 检查JAR文件是否包含目标类 - 确认路径中使用的分隔符（Linux用`:`，Windows用`;`） 2. **NoSuchMethodError** - 版本冲突时使用`mvn dependency:tree`分析依赖 3. **权限问题** ```bash # 确保HDFS文件可读 hdfs dfs -chmod -R 755 /common-libs ``` ### 七、最佳实践建议 1. 优先使用Maven/Gradle管理依赖 2. 为测试环境与生产环境建立不同的依赖仓库 3. 对高频更新库采用`SNAPSHOT`版本管理 4. 定期执行依赖清理： ```bash # 查找未使用依赖 mvn dependency:analyze ``` 通过合理选择部署策略，可有效平衡开发效率与运行时性能。对于长期运行的生产系统，推荐采用HDFS公共目录+版本控制的方式管理关键依赖。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值