oozie on spark2:java.lang.IllegalArgumentException: Attempt to add jar multiple times to the distrib

最新推荐文章于 2022-12-07 16:19:43 发布

原创最新推荐文章于 2022-12-07 16:19:43 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #oozie

oozie 专栏收录该内容

9 篇文章

订阅专栏

本文解决了一个关于Apache Spark中分布式缓存重复加载同一文件的问题。错误发生在尝试多次加载同一jar文件到分布式缓存时。文章分析了配置错误的原因，并提供了解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

错误信息详情

2018-08-20 19:55:03,088 [uber-SubtaskRunner] ERROR org.apache.spark.SparkContext  - Error initializing SparkContext.
java.lang.IllegalArgumentException: Attempt to add (hdfs://hdh116:8020/user/root/share/lib/lib_20180820162943/spark2/scala-compiler-2.11.8.jar) multiple times to the distributed cache.
        at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$11$$anonfun$apply$8.apply(Client.scala:608)
        at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$11$$anonfun$apply$8.apply(Client.scala:599)
        at scala.collection.mutable.ArraySeq.foreach(ArraySeq.scala:74)
        at org.apache.spark.deploy.yarn.Client$$anonfun$prepareLocalResources$11.apply(Client.scala:599)

解决方案

# 原因：
sparkOpts=--conf spark.yarn.jars=hdfs:///user/root/share/lib/lib_20180820162943/spark2/scala-compile.jar 
和 
oozie.action.sharelib.for.spark=spark2
# 重复引用出错
将 oozie.action.sharelib.for.spark 中需要引用的包都由--conf来引用即可！