多个SPARK版本导致任务提交问题

原创于 2022-08-19 17:39:47 发布 · 617 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #java

本文讲述了在一个项目中遇到的Spark版本不一致问题，通过分析发现是环境变量设置不当。文章详细描述了错误如AJNI错误和NoClassDefFoundError的解决过程，并推荐了一篇有用的博客链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一个项目的集群部署了多个spark版本，和java版本，最开始提交任务一直与所指定的spark版本不一致，
使用2.3目录下的spark-submit, 但是日志却显示是2.1。
后面分析发现，应该是环境变量的问题，手动在spark-submit脚本前增加export 相关环境变量，得到想要的结果。

在这里插入图片描述
过程中有报以下等错误：

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger

Exception in thread "main" java. lang. NoSuchFieldError: DEFAULT MAPREDUCE APPLICATION CLASSPATE

下面这个文章比较有用
https://www.cnblogs.com/chenzechao/p/10204263.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

昵称诚诚

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

SPARKSQL3.0-Spark兼容多版本Hive源码分析

探索大数据世界 - 深入解析数据存储、分布式计算与人工智能

12-01

2495

SPARKSQL3.0-Spark兼容多版本Hive源码分析

同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态（已解决）

lukabruce的博客

12-23

2281

问题描述：同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have s...

1 条评论您还未登录，请先登录后发表或查看评论

Spark多版本共存

黑眼圈@~@从不出水文

02-04

2261

前言我们公司用的是Spark2.3.2，但是现在测试DeltaLake又需要用到Spark3.0，所以在当前集群做多个Spark版本共存。一、下载下载当然是要去Spark官网下载咯。自己选择对应的版本下载。当然，如果没有对应的版本，就需要自己下载源码，更改版本然后重新进行编译。 1、下载 $ wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz 2、解压，路径为/data/sof

Spark多版本问题：Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set

GulfMoon

02-22

2133

一、问题背景 Shell脚本A中编写了提交Spark作业的命令（spark-submit ...），Shell脚本B作为统一调度脚本中间调用了脚本A，但是作业并没有提交yarn，查看日志信息如下： Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set 二、分析过程 1. 查看Spark当前版本...

spark on yarn多版本共存问题解决方案

LYQ的博客

03-10

1371

spark on yarn

多线程批量提交Spark任务

Mirror_w的博客

01-07

1505

一.目的 1.避免资源的浪费 2.提高任务执行的效率 3.防止任务未执行完毕，session和线程池已关闭，导致任务失败二、异常conding： 1）method 1 for (String s : list) { Dataset<Row> sql = sparkSession.sql(s); sql.show(); } sparkSession.close(); Syste.

谈Spark下并行执行多个Job的问题

热门推荐

茅庐

03-20

2万+

本文结合笔者的实践场景，探讨了Spark下并行执行多个Job的问题。梳理了Spark任务调度的机制，并总结了实践中需要考虑的问题。

图解Spark任务提交执行流程总结

伟红-long-term

08-30

1007

一、Spark基于Standalone任务提交根据Driver在集群中的位置分为两种模式：一种是Standalone-Clien模式，另一种是Standalone-Cluster模式 (1）Standalone-Clien模式 Standalone-Clien模式，Driver运行在本地的客户端上提交命令 ./spark-submit --master spark://node1:70...

Spark任务提交至YARN运行的3种方式与Mapreduce提交任务的几种形式

xby18772963985的博客

01-06

2550

Spark作为新一代计算平台的闪亮明星，在我们的大数据平台中具有非常重要的作用，SQL查询、流计算和机器学习等场景都能见到它的身影，可以说平台应用的数据处理、计算和挖掘等场景都可以使用Spark进行开发。在默认的情况下，如果想向Spark提交计算任务，通常会使用Spark提供的Spark-Submit脚本来提交含有业务逻辑的jar文件程序。这种方式虽然简单，但有悖于服务化的设计理念，所以需要为Spark提供一套任务管理的RESTful服务。在大数据平台中，Spark是以Spark on YARN的方式运行

hadoop2.7.4 spark2.2.1 最新版本环境搭建

12-17

虚拟机3台服务器搭建集群环境，使用jdk1.8 ，最新的hadoop2.7.4 ，spark2.21。提供给需要学习环境搭建人员的一点文档参考。只是基础的环境搭建，不涉及具体开发技术逻辑，请选择下载。（ps：资源分最少只能选择2分，所以请见谅）

win10本地调试spark并提交到虚拟机spark集群中(scala版本）

mlnist的博客

12-03

2007

Win10环境准备： 1.1 jdk，scala，sbt安装 Jdk安装：1.8.0_191 Scala安装: 2.11.6 Sbt安装: 1.2.6 都是默认安装，建议跟自己spark集群中安装的版本一致，可以升级spark集群的版本。否则后续需要在intellij中修改兼容性。这三个安装后找到此计算机->属性->高级系统设置，选择环境变量，然后添加这三者的环境变量，步骤...

spark-submit（spark版本2.3.2）

weixin_30600197的博客

04-28

296

spark-submit官方文档：http://spark.apache.org/docs/latest/submitting-applications.html spark-properties官方文档：http://spark.apache.org/docs/latest/configuration.html Launching Applications with spark-submi...

配置Spark时Error: A JNI error has occurred, please check your installation and try again

ZhifanSk的博客

04-11

6679

在Spark官网下载Spark时可以选择下载带Hadoop和不带Hadoop的版本。如果选择下载不带Hadoop的版本，需要在${SPARK_HOME}/conf/spark-env.sh中export环境变量SPARK_DIST_CLASSPATH，否则会在启动时遇到A JNI error has occurred, please check your installation and try...

Spark从入门到精通二----spark任务的提交方式spark-shell/spark-submit----------各种版本的wordcount

qq_824203453_的博客

09-19

4294

版权声明：本文为博主原创文章，未经博主允许不得转载!! 欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82779266 交流QQ: 824203453 执行Spark程序使用spark-shell命令和spark-submit命令来提交spark任务。当执行测试程序，使用spark-shell，spark的交互式命...

spark系列-应用篇之通过yarn api提交Spark任务

马各马它

08-23

9662

前言在工作中，大部使用的都是hadoop和spark的shell命令，或者通过java或者scala编写代码。最近工作涉及到通过yarn api处理spark任务，感觉yarn的api还是挺全面的，但是调用时需要传入很多参数，而且会出现一些诡异的问题。虽然最终使用livy来提交任务，但是通过yarn api提交任务可以帮助使用者更好的理解yarn，而且使用yarn查询任务还是不错的。至于liv...

向Spark集群部署提交(scala版)Spark程序时需要注意这些问题

hyj

12-09

427

1、scala_sdk版本的一致性 IDEA中的scala_sdk的版本要和引入jar包中scala的版本保持一致性。以下是我引入的spark-2.2.0-bin-hadoop2.7安装包中的jar包：可见需要的scala版本是2.11.8版本，因此在IDEA配置scala_sdk时也要使用2.11.8版本，否则在提交spark集群时会报如下错误： java.lang.Boots...

Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set问题

大头皮鞋的博客

05-27

1031

使用spark-submit提交应用时，出现如下问题： Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set Spark1 will be picked by default 那么Spark存在多个版本时，默认使用Spark1.x $ spark-submit --version Multi...

Spark(二): spark-submit命令详解

SeaSky_Steven的博客

01-03

2888

spark-submit命令利用可重用的模块形式编写脚本，并且以编程方式提交作业到Spark。 spark-submit命令 spark-submit命令提供一个统一的API把应用程序部署到各种Spark支持的集群管理器上，从而免除了单独配置每个应用程序。命令行参数下面逐个介绍这些参数： --master：用于设置主结点URL的参数。 local：用于执行本地机器...

Spark提交任务时, 版本问题报错

weixin_42528650的博客

02-26

880

问题一: 提交任务到集群时报错 java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror 此异常有可能是以下的情况造成的 1.编译环境的 scala版本和集群上的scala版本不一致 -- 进入spark-shell可以查看控制台输出的scala版本 spark的版本和scala的版本查看下面 2....

Spark如何在一个SparkContext中提交多个任务