Spark的scala版本和sbt的scala版本不同打包提交运行失败

最新推荐文章于 2025-05-26 12:10:34 发布

原创最新推荐文章于 2025-05-26 12:10:34 发布 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Spark

大数据学习专栏收录该内容

10 篇文章

订阅专栏

当使用sbt构建的jar包在Spark环境中运行时，因Scala版本不一致导致的NoClassDefFoundError异常。文章详细解析了错误原因，并提供了解决方案，即将本地Scala版本从2.12.8调整至Spark兼容的2.11.x。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在提交sbt的jar包到Sprak运行时：
报异常：

Caused by: java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize
	at SimpleApp$.$deserializeLambda$(SimpleApp.scala)
	... 60 more
Caused by: java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize
	... 61 more
Caused by: java.lang.ClassNotFoundException: scala.runtime.LambdaDeserialize
	at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 61 more

原因是 scala版本不匹配问题
Spark使用的2.4.0版本：官方文档中说