Spark程序里使用指定的JDK版本

最新推荐文章于 2025-11-08 10:50:49 发布
原创 最新推荐文章于 2025-11-08 10:50:49 发布 · 2.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文介绍如何在Spark应用中正确配置JDK环境，包括在客户端和YARN集群部署相同版本JDK的方法，以及当集群未部署所需JDK时，如何通过spark.yarn.dist.archives参数上传并使用自定义JDK。

1. 客户端和yarn集群都部署了相同版本的JDK

如客户端和yarn集群的JDK均安装在 /usr/java/jdk1.8.0_25 目录

通过参数设置  spark.executorEnv.JAVA_HOME 和 spark.yarn.appMasterEnv.JAVA_HOME，这分别为 Spark 的 Executor 和 Driver 指定 JDK 路径，如下：

$SPARK_HOME/bin/spark-submit --master yarn-cluster  \
      ...  \
        --conf "spark.yarn.appMasterEnv.JAVA_HOME=/usr/java/jdk1.8.0_25" \
        --conf "spark.executorEnv.JAVA_HOME=/usr/java/jdk1.8.0_25" \
        --executor-cores 1 \
        --class com....-1.0-SNAPSHOT.jar

2. yarn集群中没有部署相关的JDK版本，又无法安装

可配置参数spark.yarn.dist.archives=jdk压缩包，在启动spark时，spark会自动上传到yarn集群中，并解压运行。

$SPARK_HOME/bin/spark-submit --master yarn-cluster  \
...  \
--conf "spark.yarn.dist.archives=jdk-8u211-linux-x64.tar.gz" \
--conf "spark.executorEnv.JAVA_HOME=./jdk-8u211-linux-x64.tar.gz/jdk1.8.0_211" \
--conf "spark.yarn.appMasterEnv.JAVA_HOME=./jdk-8u211-linux-x64.tar.gz/jdk1.8.0_211" \

ndfc330
关注
使用IntelliJ Idea开发Spark应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 6156
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。   2、部署分布式Spark应用程序。首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea1、启动IntelliJ Idea。在终
解决Spark，MapReduce和Flink提交到yarn集群jdk版本不一致问题
优快云_Hzx的博客
12-10 772
最近遇到一个问题，在提交spark任务到yarn集群报错，具体报错内容如下： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/iteblog/mobile/UserMobileInfo : Unsupported major.minor v at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineCl
如何为Spark Application指定不同的JDK版本详解
08-28
主要给大家介绍了关于如何为Spark Application指定不同的JDK版本的相关资料，文中通过示例代码将解决的方法介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友下面来随着小编一起学习学习吧。
【Spark开发必备技能】3-1-运行环境配置-JDK安装
Spark技术咖的博客
07-18 1071
目录 1、Windows JDK安装     1.1 下载JDK-1.8         1.2 双击安装     1.3 环境变量配置      1.4 验证结果 2、Mac JDK安装     2.1 下载JDK-1.8         2.2 双击开始安装     2.3 JDK安装目录查看     2.4 结果验证 3、Windows Hadoop环境配置     ...
大数据环境搭建从零开始（十七）：JDK 17 安装与配置完整指南
最新发布
森语林溪的博客
11-08 1268
本文详细介绍了在CentOS7系统中安装配置JDK17的完整步骤，为搭建大数据环境奠定Java基础。主要内容包括：使用rz命令上传JDK安装包、规划解压目录结构、配置系统环境变量、验证安装结果的技术要点。文章还深入解析了JDK17的新特性、生产环境优化建议、多版本管理策略，并提供了常见问题解决方案。通过本教程可掌握JDK17的规范化安装方法，为后续安装Hadoop、Spark等大数据组件做好环境准备。
如何在Spark，MapReduce和Flink程序里面指定JAVA_HOME
优快云_Hzx的博客
06-04 1843
最近遇到一个bug，自己编写的spark程序本地调试没问题之后想提交到集群上运行，报错内容如下： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/iteblog/mobile/UserMobileInfo : Unsupported major.minor version 52.0 现特此整理了一下分享给大家： 其实报错已经很明显了，java8版本有问题，那具体原因是什么呢，其实就是本地编写spark用的是j
Spark 设置指定 JDK 的正确姿势
Focus on Lakehouse
07-20 1719
欢迎订阅微信公众号：大数据技术架构，更多大数据基础架构，原理与实践，社区动态等。 这两天在测试环境提交 Spark Streaming 任务时，遇到了一个 JDK 版本问题导致 job 一直提交失败。 我们使用的组件版本： 1Spark2.12Elasticsearch6.3.23JDK1.8.0_162 2Elasticsearch6.3.2 3JDK1.8....
spark需要 java的版本_如何为Spark Application指定不同的JDK版本详解
weixin_27215403的博客
02-25 1460
前言随着企业内部业务系统越来越多，基于JVM的服务，通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现：java.lang.UnsupportedClassVersionError的异常。Spark 2.2开始移除了对Java 7的支持，大多数情况下，我们的Spark Application是和Hadoop系统公用的JDK，如果H...
Spark运行在JDK 17上的参数配置
sinat_23257429的博客
08-14 1316
在将Spark应用程序迁移到JDK 17并进行集成时，需要进行一些额外的参数配置。另外，在集成时可能会遇到Hive外部元数据服务异常，具体问题可以查看链接。为了解决该问题，需要修改相关代码并重新打包。注意，在打包时要确保。其他参数直接复制即可。垃圾收集器的参数是可选的，这里配置了。中，并将这两个jar包一起添加到classpath中。用于指定执行器的Java安装目录。用于指定节点的Java安装目录，以使用ZGC垃圾收集器。
运行spark程序，以及spark的部署
06-12
6. Spark程序的编写：编写Spark程序需要正确设置依赖关系，包括依赖的版本。编写完成后，使用maven进行打包，生成target目录下的jar包。 7. Spark程序的具体运行：对于Spark程序的运行，需要先通过ssh连接到虚拟机...
配置spark1.3.0 所需要的 jdk-7u79-linux-x64.tar.gz 以及 scala-2.10.4.tgz
05-07
在这个场景中，指定的版本是JDK 7 Update 79（jre7u79-linux-x64.tar.gz）以及Scala 2.10.4（scala-2.10.4.tgz）。这两个组件在Spark的安装和配置过程中起着至关重要的作用。 首先，我们来详细了解一下JDK。Java ...
启动spark-shell报错：此时不应有 \Java\jdk1.8.0_221\bin\java。
大强博客
01-14 3371
错误信息：启动spark-shell报错：此时不应有 \Java\jdk1.8.0_221\bin\java。 如下图所示： 解决办法： 修改JDK安装路径，将路径中的空格去掉，如下图所示： ...
验证Spark安装是否成功报错:/usr/lib/jdk/jdk1.8.0_221/bin/java: 没有那个文件或目录
星星的博客
05-24 7031
使用命令./bin/run-example SparkPi,验证Spark安装是否成功报错：/usr/local/spark/bin/spark-class: 行 71: /usr/lib/jdk/jdk1.8.0_221/bin/java: 没有那个文件或目录 报错情况如下 sudo gedit ~/.bashrc sudo gedit ~/.bashrc jdk找不到路径问题，报错如图，直接配置修改文件spark-env中export （导入）jdk的路径即可。 ...
配置文件jdk和hadoop和scala和spark
只作为个人备忘录
10-28 778
~/.bashrc       ~/.profile jdk： export JAVA_HOME=/usr/lib/jvm/java export JRE_HOME=${JAVA_HOME}/jre   export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   export PATH=${JAVA_HOME}/bin:$PATH had
Spark项目实战-Linux下安装JDK
上海一九四三
08-29 382
一 下载 从官网下载对应版本的jdk，博主下载的是32位的tar.gz文件。 二 安装 1、安装之前我们用WinSCP工具，将刚下载的tar.gz文件上传到Linux的/usr/local目录下。 2、解压tar.gz。 3、配置环境变量（vi /etc/profile）  在profile文件末尾添加： # 这里替换成我们刚刚解压出来的jdk目录 export JAVA_...
spark版本和jdk版本报错
weixin_43806056的博客
04-20 2807
报错信息： java.lang.UnsupportedClassVersionError: org/apache/spark/network/util/ByteUnit : Unsupported major.minor version 52.0 解决办法： helloword.scala(准备运行的代码)->run configuration->JRE->alternate j...
CentOS7配置JDK/Hadoop/Spark（单机版）环境
m0_60946919的博客
05-09 614
本文详细介绍了在CentOS7系统下，配置java和hadoop环境以及spark的安装。
spark（kryo）、hadoop（writable）、jdk（serializable）-序列化
m0_67402026的博客
08-24 314
一个类在jvm中是有结构的，但即使是在jvm中，也是一堆数据。网络只能传文本，所以需要序列化和反序列化。 通过几种方式的序列化后文本输出到本地文件，可以对比下大小。将类的上级所有层次、包名等信息都序列化，相当于把类的所有描述信息写在文本中传输。效率较低。 ObjectOutputStream底层就是调用的DataOutputStream，只不过把类的层级、包名和数据一起传了。所有类从技术上说都可以序列化，serializable接口是个标记接口，用来表示某个类可以被序列化。因为某些类不适合序列化，比如数据库
Hadoop2.7.0+与Spark1.5+已将不支持JDK1.6
zhongwen7710的专栏
05-06 2518
摘要：Hadoop2.7.0已发发布，但该版本已经不支持JDK1.6版本，由于该版本吸取了很多JIRAs，考虑到Bug还在测试中，请暂时不要使用该版本用于生产环境，可以用Hadoop 2.7.1/2.7.2，版本的更新应该很快发布。Spark社区激烈讨论决定，预计2015年6月发布Spark1.4.x，该版本会在Java 6，7，8上面工作；预计2015年9月发布Spark 1.5+，该版本只能在
spark配置jdk
03-15
### 如何在 Apache Spark 中配置指定版本的 JDK #### 配置背景 自 Spark 2.2 开始，官方已停止对 Java 7 的支持，在实际生产环境中，Spark 应用程序通常运行于 Hadoop 系统之上。如果 Hadoop 所依赖的 JDK 版本较低（如 JDK 7），而 Spark Application 基于更高版本的 JDK 编写，则可能会引发兼容性问题[^1]。 #### 参数说明 为了确保 Spark Application 运行时使用的 JDK 版本与预期一致，可以通过设置 `spark.yarn.appMasterEnv.JAVA_HOME` 和 `spark.executorEnv.JAVA_HOME` 来分别指定 Driver 端和 Executor 端所使用的 JDK 路径。这些参数的作用在于覆盖默认环境变量中的 `JAVA_HOME` 设置，从而避免因系统级配置不匹配而导致的任务失败[^2]。 #### 实现方法 以下是具体实现步骤： 1. **修改 Spark 配置文件** 可以在 `spark-defaults.conf` 文件中添加如下两行配置： ```properties spark.yarn.appMasterEnv.JAVA_HOME /path/to/higher/java/version spark.executorEnv.JAVA_HOME /path/to/higher/java/version ``` 2. **动态传递参数** 如果不想更改全局配置文件，也可以通过命令行提交任务时动态传入上述两个参数。例如： ```bash ./bin/spark-submit \ --conf spark.yarn.appMasterEnv.JAVA_HOME=/path/to/higher/java/version \ --conf spark.executorEnv.JAVA_HOME=/path/to/higher/java/version \ your-application.jar ``` 3. **验证配置生效** 提交任务后，可以查看日志确认是否加载了正确的 JDK 版本。若未显式设置以上参数，可能导致任务仍使用旧版 JDK 或者报错退出[^4]。 #### 示例代码 下面展示了一个简单的 Spark Conf 创建过程，并演示如何利用该对象进一步扩展其他必要选项。 ```java import org.apache.spark.SparkConf; public class SparkConfigExample { public static void main(String[] args) { SparkConf conf = new SparkConf() .setAppName("Custom JDK Example") .setMaster("yarn") // or local[*], etc. .set("spark.yarn.appMasterEnv.JAVA_HOME", "/usr/lib/jvm/java-8-openjdk-amd64/") .set("spark.executorEnv.JAVA_HOME", "/usr/lib/jvm/java-8-openjdk-amd64/"); System.out.println(conf.get("spark.yarn.appMasterEnv.JAVA_HOME")); System.out.println(conf.get("spark.executorEnv.JAVA_HOME")); } } ``` #### 总结 通过合理调整 Spark Configuration，能够有效解决多版本 JDK 并存场景下的冲突问题。这不仅有助于提升系统的稳定性，还能减少不必要的调试时间成本。 ---
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值