spark中spark-submit在yarn中执行spark程序的jar

最新推荐文章于 2024-05-06 22:53:19 发布

原创最新推荐文章于 2024-05-06 22:53:19 发布 · 1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark #jar #大数据

spark 专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍如何在IDEA中将Spark应用打包成jar，并在Linux环境下部署与运行。包括修改SparkSession设置、上传jar文件、启动Spark服务、配置spark-submit命令及监控进度等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

*1、先在idea中打成jar包

1>、在打jar时，一定要把  SparkSession.master("local[2]")注释掉**

在这里插入图片描述

2、上传jar到linux中

3、启动spark程序

此命令一定要在spark安装包下执行呢

/spark/sbin/start-all.sh

启动完，用jps查看进程
在这里插入图片描述

4、启动spark历史服务器

此命令一定要在spark安装包下执行呢

/spark/sbin/start-history-server.sh

在这里插入图片描述

5、使用spark-submit命令加载jar

在这里插入图片描述

/spark/bin/spark-submit  \
--class Test.BigSql \    //这路径直接从Scala往下写，不用后缀的.scala字样
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 4g \
--executor-cores 4 \
--queue default \
/DDWW/DW.jar   //这是我linux上放jar的位置

执行时，可以在yarn上查看进度：
yarn端口号：8088

在这里插入图片描述

阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道