Spark本地运行出错问题：Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Lja

岁月静静好

于 2017-03-21 18:09:04 发布

阅读量2w

点赞数 3

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/u011835473/article/details/64457380

本文解决了因使用不兼容版本的Spark与Scala而导致的问题。具体来说，原项目使用了spark-assembly-1.6.0-hadoop2.6.0与scala-sdk-2.12.1，但spark1.6仅支持scala-2.10.x版本。通过将Scala版本回退到2.10.6，成功解决了这一冲突。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这问题是由于jar冲突导致的：

我原先的jar包是：

scala-sdk-2.12.1和spark-assembly-1.6.0-hadoop2.6.0

由于spark1.6的支持最高的scala版本是scala-2.10.X 所以换成scala-2.10.6可以解决问题。

下载地址：http://www.scala-lang.org/download/