spark中spark-submit在yarn中执行spark程序的jar_spark.submit.deploymode yarn-优快云博客

本文链接：https://blog.youkuaiyun.com/data_curd/article/details/108475641

本文详细介绍如何在IDEA中将Spark应用打包成jar，并在Linux环境下部署与运行。包括修改SparkSession设置、上传jar文件、启动Spark服务、配置spark-submit命令及监控进度等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

*1、先在idea中打成jar包

1>、在打jar时，一定要把  SparkSession.master("local[2]")注释掉**

在这里插入图片描述

2、上传jar到linux中

3、启动spark程序

此命令一定要在spark安装包下执行呢

/spark/sbin/start-all.sh

启动完，用jps查看进程
在这里插入图片描述

4、启动spark历史服务器

此命令一定要在spark安装包下执行呢

/spark/sbin/start-history-server.sh

在这里插入图片描述

5、使用spark-submit命令加载jar

在这里插入图片描述

/spark/bin/spark-submit  \
--class Test.BigSql \    //这路径直接从Scala往下写，不用后缀的.scala字样
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 4g \
--executor-cores 4 \
--queue default \
/DDWW/DW.jar   //这是我linux上放jar的位置

执行时，可以在yarn上查看进度：
yarn端口号：8088

在这里插入图片描述

阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道