spark运行时出现错误Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD

最新推荐文章于 2025-02-16 00:49:49 发布

cjlion

最新推荐文章于 2025-02-16 00:49:49 发布

阅读量1.3w

点赞数 4

文章标签： spark

本文链接：https://blog.youkuaiyun.com/cjlion/article/details/83308631

版权

本文探讨了在使用Maven构建项目时遇到的java.lang.NoClassDefFoundError错误，特别是当尝试使用Apache Spark的RDD类时。错误源于pom.xml文件中不当使用<scope>provided</scope>标签，导致Spark依赖项在本地运行时被排除。文章提供了详细的错误堆栈跟踪，并提出了解决方案，即移除<scope>provided</scope>以确保所有必需的类在运行时都可用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原因：自己在pom文件中加入

<scope>provided</scope>

此标签表示编译环境可用，运行时则不可用，主要是在打包时不将这些依赖打进来，因为服务器上有，以免包过大

解决方案：本地运行时注销掉<scope>provided</scope>,reimport maven projects

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/rdd/RDD
   at java.lang.Class.getDeclaredMethods0(Native Method)
   at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
   at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
   at java.lang.Class.getMethod0(Class.java:3018)
   at java.lang.Class.getMethod(Class.java:1784)
   at com.intellij.rt.execution.application.AppMain.main(AppMain.java:125)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD
   at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
   at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
   at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338)
   at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
   ... 6 more