Scala调用Spark工具包出现错误: 找不到或无法加载主类_spark错误: 找不到或无法加载主类 java.base.java.lang=all-unname-优快云博客

本文链接：https://blog.youkuaiyun.com/llh_1178/article/details/88744738

使用eclipse搭建Spark框架时，可能遇到“找不到或无法加载主类”问题。网上很多解决方法失效，本文给出解决办法。设置Scala版本为2.11.8、Java为1.8、Spark为1.6.2，建立Scala工程，添加Spark关联包，修改Scala版本，设置调用顺序，最后清理项目即可。因高版本Spark无lib文件，故使用低版本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用eclipse编辑器搭建spark框架的时候，可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误，不难发现网上很多信息指出这是因为混合了java 和scala，造成了不编译。但是，如果有使用他们的解决方法，还是失效的小伙伴们，那么可以试试我的方法。
注：Scala版本为2.11.8；Java版本为1.8；Spark版本为spark-1.6.2-bin-hadoop2.6；系统是Window10。

首先，我们建立一个scala工程——Tmp。
在这里插入图片描述
从图中，可以发现系统默认使用的2.12.3版本的Scala和1.8版本的Java。
然后，添加Spark关联包。选中Tmp文件夹点右键，找到properties选项并点击。

如图所示，选择Java Build Path选项，然后，再点击add external JARS选项。导入spark-1.6.2-bin-hadoop2.6\lib中的spark-assembly-1.6.2-hadoop2.6.0.jar文件。最后，点击apply。
在这里插入图片描述
从上图，可以发现Tmp文件左下角有一个红色的小叉，这是因为Scala的版本没有设置好。选择上图中的Scala Compiler选项，然后，按下图标注进行操作。修改Scala的版本。

再选择Build manager选项，设置Scala和Java调用的前后顺序（这一步看情况而定，如果上一步已经使小红叉消失，就没有必要设置这一步了）。最后，选择菜单栏的project中的clean操作后小红叉消失，程序运行正常！
在这里插入图片描述

与别的方法不同，此次使用的是Spark1.6版本，没有使用2.0以上的版本，这是因为在2.0以上版本中Spark文件中没有lib文件，就无法导入spark-assembly-1.6.2-hadoop2.6.0.jar文件了。而导入其它的jar文件即使Scala和Java的顺序设置正确，我的电脑也会出现这个问题。目前，还没有找到更好的方法，只是降低了Spark的版本。希望遇到相同问题的小伙伴，能给我更多建议。