scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;

最新推荐文章于 2022-04-19 16:29:50 发布

binbincoder

最新推荐文章于 2022-04-19 16:29:50 发布

阅读量3.4k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/qq_33286695/article/details/86628983

Spark 专栏收录该内容

15 篇文章

订阅专栏

本文详细记录了解决Spark应用程序中出现的NoSuchMethodError错误的过程，该错误与Scala和Spark版本不兼容有关。通过调整Scala版本从2.10.4到2.11.8，并将Spark版本设置为1.6.2，成功解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

狗血的版本问题:
Exception in thread “main” java.lang.NoSuchMethodError: scala.Predef $.$ conforms()Lscala/Predef$ $l e s s$ colon $l e s s; a t o r g . a p a c h e . s p a r k . u t i l . U t i l s$ .getSystemProperties(Utils.scala:1710)
at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:73)
at org.apache.spark.SparkConf.(SparkConf.scala:68)
at org.apache.spark.SparkConf.(SparkConf.scala:55)
at sparkMLlib.MovieLensALS$.main(MovieLensALS.scala:69)
at sparkMLlib.MovieLensALS.main(MovieLensALS.scala)
问题解决:
网上扒了半天,什么版本重复,什么版本冲突,完全没有我想要的答案,我用的是Scala-2.10.4版本,然后一直包这个错,idea自带的2.10.6版本,我两个之间来回改,一直报这个错,而错误对应的代码是:
// 配置conf和上下文Context
val conf = new SparkConf().setAppName(“MovieLensALS”)
.set(“spark.executor.memory”, “500m”)
//.setMaster(“local[*]”)
就是这行在报错,最后我适当提高了Scala的版本,解决问题了.
<spark.version>1.6.2</spark.version>
<scala.version>2.11.8</scala.version>