Caused by: java.lang.ClassNotFoundException: scala.collection.GenTraversableOnce$class

最新推荐文章于 2024-06-18 07:57:42 发布

原创最新推荐文章于 2024-06-18 07:57:42 发布 · 9.9k 阅读

1 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

55 篇文章

订阅专栏

本文介绍了一个关于Spark使用过程中出现的版本冲突问题，具体表现为Scala版本不一致导致的NoClassDefFoundError错误。文章提供了检查与调整Scala版本的方法，并展示了如何在build.sbt文件中正确配置依赖。

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
18/04/21 19:05:26 INFO SparkContext: Running Spark version 1.6.2
Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
at org.apache.spark.util.TimeStampedWeakValueHashMap.<init>(TimeStampedWeakValueHashMap.scala:42)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:298)
at scala.demo2.JdbcRDD$.main(JdbcRDD.scala:16)
at scala.demo2.JdbcRDD.main(JdbcRDD.scala)
Caused by: java.lang.ClassNotFoundException: scala.collection.GenTraversableOnce$class
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

... 4 more

你需要确保 spark所使用的scala版本与你系统scala的版本一致

查看build.sbt:

name := "ScalaSBT"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.1"

你需要确保 spark所使用的scala版本与你系统scala的版本一致

你也可以这样：

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"