spark程序依赖guava冲突报错

最新推荐文章于 2023-07-25 09:30:41 发布

Yaphets丶混世大魔王

最新推荐文章于 2023-07-25 09:30:41 发布

阅读量2.6k

点赞数

分类专栏： # spark

本文链接：https://blog.youkuaiyun.com/tianhouquan/article/details/85055169

版权

在使用Spark读取本地文件时，出现`java.lang.IllegalAccessError`，原因是Guava版本冲突。解决办法是检查POM文件中的Guava依赖，或者在IDE的外部库中查找Guava jar包，发现并移除不兼容的高版本，替换为与Spark兼容的低版本（如15）。问题得到解决，但为何Spark未默认包含Guava仍然困惑。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在练习 spark 读取本地文件的过程中，遇到了这样的问题：

Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat
   at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:312)
   at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:200)
   at org.apache.spark.rdd.RDD$anonfun$partitions$2.apply(RDD.scala:253)
   at org.apache.spark.rdd.RDD$anonfun$partitions$2.apply(RDD.scala:251)
   at scala.Option.getOrElse(Option.scala:121)
   at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)
   at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:46)
   at org.apache.spark.rdd.RDD$anonfun$partitions$2.apply(RDD.scala:253)
   at org.apache.spark.rdd.RDD$anonfun$partitions$2.apply(RDD.scala:251)
   at scala.Option.getOrElse(Option.scala:121)