Caused by: java.lang.ClassNotFoundException: org.apache.spark.ml.param.Param

最新推荐文章于 2024-08-29 18:42:50 发布

binbincoder

最新推荐文章于 2024-08-29 18:42:50 发布

阅读量876

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Spark

本文链接：https://blog.youkuaiyun.com/qq_33286695/article/details/86569063

Spark 专栏收录该内容

15 篇文章

订阅专栏

本文详细解析了在使用Scala进行Spark MLlib开发时遇到的NoClassDefFoundError异常，特别是关于org.apache.spark.ml.param.Param类的问题。文章深入探讨了错误的根本原因，即在pom.xml文件中错误地使用了provided标签，导致依赖未被打包进最终的jar文件。通过提供具体的解决方案，包括如何正确配置Maven依赖，以确保本地开发环境与生产环境的一致性，帮助读者避免因依赖问题导致的运行时错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题是:
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/ml/param/Param
at saprk_ML.demo01.main(demo01.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.ml.param.Param
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
… 1 more
原因：自己在pom文件中加入

provided
此标签表示编译环境可用，运行时则不可用，主要是在打包时不将这些依赖打进来，因为服务器上有，以免包过大

解决方案：本地运行时注销掉provided,reimport maven projects