Eclipse + scala 报错 missing or invalid dependency detected while loading class file 'XXX.class'...

最新推荐文章于 2025-06-23 23:07:59 发布

多多-江北残刀

最新推荐文章于 2025-06-23 23:07:59 发布

阅读量5.6k

点赞数

CC 4.0 BY-SA版权

文章标签： spark scala eclipse

本文链接：https://blog.youkuaiyun.com/beijihukk/article/details/63250654

在使用Eclipse进行Spark Scala开发时，遇到错误'missing or invalid dependency detected while loading class file 'XXX.class''. 工程是Scala项目，通过添加jar到lib目录并构建路径。错误在调整build path后出现，即使重新创建项目问题依旧。如何解决此类依赖问题及如何查找并修复invalid dependency是关键。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

近两天学习spark，根据官网文档http://spark.apache.org/docs/2.1.0/quick-start.html 做Self-contains App的实验时需要加载spark-core_2.11-2.1.0.jar, 因为maven的插件m2eclipse-scala（见scala ide官网http://scala-ide.org/docs/current-user-doc/gettingstarted/index.html ）没下载下来，所以工程是建的scala工程，目录结构如下，这样好像不能通过pom.xml来配置（如果可以的话，知道的前辈麻烦留言指点一二）
file

于是如截图中，自己建了一个lib目录，把需要的jar文件拷贝了进来并添加到builpath中，编译没毛病；问题是不知道什么时候出现的，我做了几次buil path之类的设置好像，就出现问题了，见图，提示error:missing or invalid dependency detected while loading class file 'XXX.class'...
file
检查了添加进来的jar包，是包含提示里的类RDD.class的，好像是没问题；后来没办法，重新新建一个scala project，还按原来的方法加载了spark-core_2.11-2.1.0.jar，编译也是没问题；所以这里有两个疑问：