Exception in thread main java.lang.NoClassDefFoundError: org.apache.spark.sql.SparkSession

本文解析了在使用Spark过程中遇到的“AJNIerrorhasoccurred”错误,深入探讨了Maven依赖中scope标签的不同设置对SparkSession类加载的影响,并提供了正确的依赖引入策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在运行程序的过程中报了A JNI error has occurred, please check your installation and try again错误,具体异常信息如下图所示:

 从异常中看到是无法找到sparkSession类,但是我在maven中已经引入了该依赖,却依然出现异常,这个时候可以查看pom文件引入的依赖中scope标签中的内容,其中scope标签中对应的参数有如下几种:

1.compile

默认的scope,表示 dependency 都可以在生命周期中使用。而且,这些dependencies 会传递到依赖的项目中。适用于所有阶段,会随着项目一起发布

2.provided

跟compile相似,但是表明了dependency 由JDK或者容器提供,例如Servlet AP和一些Java EE APIs。这个scope 只能作用在编译和测试时,同时没有传递性。

3.runtime
表示dependency不作用在编译时,但会作用在运行和测试时,如JDBC驱动,适用运行和测试阶段。

4.test

表示dependency作用在测试时,不作用在运行时。 只在测试时使用,用于编译和运行测试代码。不会随项目发布。

5.system

跟provided 相似,但是在系统中要以外部JAR包的形式提供,maven不会在repository查找它。

而我在引入spark的依赖的时候scope标签中的内容为provided,当然会报错了,在引入依赖的时候一定要设置为compile或者runtime,spark才能初始化,所对应的程序才能运行。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值