spark中spark-submit在yarn中执行spark程序的jar

最新推荐文章于 2024-05-06 22:53:19 发布
原创 最新推荐文章于 2024-05-06 22:53:19 发布 · 1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #jar #大数据

本文详细介绍如何在IDEA中将Spark应用打包成jar，并在Linux环境下部署与运行。包括修改SparkSession设置、上传jar文件、启动Spark服务、配置spark-submit命令及监控进度等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

*1、先在idea中打成jar包

1>、在打jar时，一定要把  SparkSession.master("local[2]")注释掉**

在这里插入图片描述
在这里插入图片描述

2、上传jar到linux中

3、启动spark程序

**

此命令一定要在spark安装包下执行呢

**

/spark/sbin/start-all.sh

启动完，用jps查看进程
在这里插入图片描述

4、启动spark历史服务器

此命令一定要在spark安装包下执行呢

/spark/sbin/start-history-server.sh

在这里插入图片描述

5、使用spark-submit命令加载jar

在这里插入图片描述

/spark/bin/spark-submit  \
--class Test.BigSql \    //这路径直接从Scala往下写，不用后缀的.scala字样
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 4g \
--executor-cores 4 \
--queue default \
/DDWW/DW.jar   //这是我linux上放jar的位置

执行时，可以在yarn上查看进度：
yarn端口号：8088

在这里插入图片描述

阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道

Spark进阶之路-Spark提交Jar包执行
weixin_34075268的博客
08-12 4102
　　　　　　　　　　　　Spark进阶之路-Spark提交Jar包执行 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。   　　在实际开发中，使用spark-submit提交jar包是很常见的方式，因为用spark-shell来开发项目是很苦难的（一般都用IDE），当我们开发程序完毕后，需要打成jar包。  ...
spark代码 spark-submit提交yarn-cluster模式
南国的技术栈
07-15 4057
worldcount yarn-cluster集群作业运行 上面写的是一个windows本地的worldcount的代码，当然这种功能简单 代码量少的 也可以直接在spark-shell中直接输scala指令。 但是在项目开发 企业运用中，因为本地的资源有限 使得无法发挥出spark的真正优势。因此 在这里 我就spark代码在集群中运行 做一些补充讲述。 我使用的环境是： idea编译器 jdk...
spark-submit运行jar包脚本命令
叶不二
08-14 1万+
找到spark-submit文件的目录 目录/spark-submit --master spark://192.168.172.10:7077 --executor-memory 2g --total-executor-cores 10 --driver-memory 4G --class com.test.main.test test.jar参数： --master spark集群
Spark运行在yarn集群上的两种提交方式
Hellomdk的博客
11-24 2198
文章目录Spark集群简单介绍yarn集群的两种提交方式client执行原理执行流程cluster提交命令（两种）执行原理执行流程 Spark集群简单介绍 如前面几篇博客介绍的 Spark集群分为四种： local stand alone yarn mesos 这里我们就拿yarn来介绍。 yarn集群的两种提交方式 首先spark跑在yarn集群上，必须要开启HDFS，因为包要上传到HDFS...
用spark-submit将py提交到yarn时警告Neither spark.yarn.jars nor spark.yarn.archive is set
m0_63500252的博客
05-06 577
意思是spark无法找到要在YARN集群上执行任务所需的JAR包或归档文件。它会尝试从SPARK_HOME目录上传所需的库文件，所以会卡在这里一段时间。意思是将$SPARK_HOME/jars/里的文件全部打包为当前目录的spark-libs.jar。然后再到$SPARK_HOME/conf/spark-env.sh中添加。到SPARK_HOME中找到jars文件夹，将它们打包。用spark-submit将py提交到yarn时警告。然后将其上传到hdfs中，先自己创建好目录。
搞懂spark-submit参数及应用程序提交（详细）
大柳的博客
12-31 1万+
介绍 当前支持三种集群管理器： Spark独立集群管理器，一种简单的Spark集群管理器，很容易建立集群，基于Spark自己的Master-Worker集群 Apache Mesos，一种能够运行Haoop MapReduce和服务应用的集群管理器 Hadoop YARN，Spark可以和Hadoop集成，利用Yarn进行资源调度 如果在集群中仅有Spark程序，那么可以使用Spark独立的集群管理器。如果有其他的mapreduce程序，那么需要使用Yarn或者Mesos管理
Spark-submit 提交任务时与spark运行环境 jar 包冲突
weixin_43845733的博客
11-13 1619
在使用 spark-submit --master yarn 提交任务时，发生guava jar包冲突，spark-submit启动时会加载spark安装时自己的 classPath下的jar包， 我使用的是 Apollo，guava-19.0.jar。 Spark ClassPath上的是guava-11.0.2.jar。因此会报 Apollo找不到方法。 因此需要使用spark-sumbit --jars 将自己依赖的 guava-19.0.jar包 提交到spark 执行环境中。 同时–jars .
spark-submit 主要参数详细说明及Standalone集群最佳实践
日常学习与专研的记录
03-26 1575
部署提交应用到 spark 集群，可能会用到 `spark-submit` 工具，鉴于网上的博客质量残差不齐，且有很多完全是无效且错误的配置，没有搞明白诸如`--total-executor-cores` 、`--executor-cores`、`--num-executors`的关系和区别。因此有必要结合官网文档 [submitting-applications](https://spark.apache.org/docs/latest/submitting-applications.html) 详细记录
【spark-submit】【spark】
wq6qeg88的博客
02-17 1068
如果您的代码依赖于其他项目，则需要将它们与应用程序一起打包，以便将代码分发到Spark集群。一旦你有了一个组装好的jar，你就可以在传递你的jar的时候调用这里所示的。它可以通过统一的接口使用所有Spark支持的集群管理器，因此您不必为每个集群管理器配置应用程序。†一个常见的部署策略是从与工作机器物理上位于同一位置的网关机器（例如独立EC2集群中的主节点）提交应用程序。或者，如果您的应用程序是从远离工作机器的机器提交的（例如，在您的笔记本电脑上本地），通常使用。有几个选项是特定于正在使用的集群管理器的。
Spark-shell和Spark-submit
feizuiku0116的博客
02-07 493
Spark支持多种集群管理器（Cluster Manager）,取决于传递给SparkContext的MASTER环境变量的值：local、spark、yarn，区别如下： 一、Spark-shell 引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！ 实例：spark-shell可以携带参数 spark-shell --mast
提交并执行spark的jar包流程及注意事项
Zero小猿的博客
02-16 3812
1. 前言   主要是介绍windows环境下提交并执行spark的jar包流程及注意事项，linux环境提交步骤类似且更直观； 2. 步骤 2.1 打包   我是直接用idea打包，没有用maven。 项目根目录右键 -> Open Module Settings -> Artifacts -> 点击+号 -> JAR -> From modules with dependencies -> 在Main Class里面找到本次需要执行的主类 -> 点击OK
spark-yarn 任务提交详解
z7one
09-14 758
Spark支持3种集群管理器（Cluster Manager） 分别为： Standalone：独立模式，Spark 原生的简单集群管理器，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统，使用 Standalone 可以很方便地搭建一个集群； Hadoop YARN：统一的资源管理机制，在上面可以运行多套计算框架，如 MR、Storm等。根据 Driver 在集群中的位置不同，分为 yarn client 和 yarn cluster； Apache Mesos：一个强大的分布
SparkSubmit到YarnClient入门
古笑来的博客
03-21 796
Spark-Submit分析 https://www.cnblogs.com/liangjf/p/8134645.html 抛开spark-submit脚本提交spark程序 https://blog.csdn.net/yhb315279058/article/details/51713309 使用JAVA代码实现编程式提交Spark任务 https://blog.csdn.net/gx30441...
Spark Yarn 提交作业
yahuikiki的博客
08-31 1万+
初学Spark时，部署的是Standalone模式（集成了HA），写的测试程序一般创建上下文时如下： 此处master设置为管理节点的集群地址（spark webui上显示的地址） 。 之后将测试代码打包成jar包，上传到服务器，使用spark-submit提交作业。 提交命令： spark-submit --master spark://s44:7077 --name MyWor...
spark-submit运行上传jar包问题
一亩三分地
05-02 1255
问题1： hadoop2.7+spark1.2: class not found com.hadoop.compression.lzo.LzoCodec 测试环境，上传jar包，spark-submit运行报上述错误，主要原因是： hadoop集群的core-site.xml有： <property><name>io.compression.codec.l...
spark提交任务命令
weixin_44280356的博客
10-21 4202
Spark submit spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 spark 提交到 yarn 执行的例子如下。 spark-submit --master yarn --executor-memory 20G --executor-cores 2 --driver-memory...
spark：spark-submit 提交任务及参数说明（yarn）
热门推荐
不花的花和尚的博客
02-02 1万+
spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。 ./bin/spark-submit \ --master spark://localhost:7077 \ examples/src/main/python/pi.py 如果...
spark集群版运行jar包
m0_65548365的博客
05-21 963
默认以及按照好了Hadoop的环境和spark环境以及idea环境。这是上面代码中编写的输出路径。不进行此步骤的话在服务器运行会出错。表示主类入口，就是上图中的主类是。信息，等待几秒后即可关闭。，运行成功后出现红色的。
如何在代码中获取spark-submit 参数 --master yarn
最新发布
04-28
<think>好的，我现在要解决用户的问题：如何在Spark应用代码中读取通过spark-submit传递的--master yarn参数。首先，我需要回顾一下Spark的配置机制和参数传递的优先级。根据之前的回答，SparkConf中的显式设置优先级最高，然后是命令行参数，最后是配置文件。 用户想知道如何在代码里获取通过spark-submit传递的--master参数。首先，我需要确认--master参数的作用。这个参数用于指定集群管理器，比如yarn、local[*]等。用户可能在代码中需要根据不同的部署环境（比如测试和生产）动态调整某些配置，这时候就需要获取master的值。 接下来，我需要思考如何从SparkConf或SparkContext中获取这个参数。根据Spark的文档，SparkConf对象会包含所有显式设置的配置，包括通过命令行传递的。因此，应该可以通过SparkConf的get方法或者SparkContext的getConf方法来获取。 但是要注意，如果用户在代码中显式设置了spark.master属性，比如在SparkConf里调用了.setMaster("local")，那么这个值会覆盖命令行传入的--master参数。这时候，即使spark-submit传了--master yarn，代码里的设置会生效，而用户可能拿不到yarn这个值。不过，用户的问题中并没有提到代码里是否有显式设置，所以需要假设用户没有设置，或者希望即使设置了也能获取到实际使用的参数。 接下来，验证一下具体的获取方法。例如，在Scala代码中，可以通过sc.getConf.get("spark.master")来获取。在Python中，可能是通过SparkSession的sparkContext.getConf().get("spark.master")。用户的问题没有指定语言，但之前的示例中有Scala代码，可能需要给出多语言的示例。 然后，是否需要考虑其他情况，比如当没有显式设置时，spark-submit的参数是否会被正确传递。根据引用[3]，如果默认配置文件中设置了spark.master，而命令行没有指定，那么配置文件的值会被使用。但用户的问题是明确通过spark-submit传递了--master yarn，所以这时候代码应该能正确获取到yarn。 另外，用户可能在代码中需要根据不同的master值执行不同的逻辑，比如本地测试和集群运行时有不同的初始化步骤。这时候获取master参数就很有必要。 还需要考虑是否有可能无法获取的情况。例如，如果用户代码中显式调用了setMaster，那么从SparkConf里获取的会是代码里设置的值，而不是命令行传入的。这时候需要提醒用户注意配置的优先级，避免混淆。 最后，总结步骤：通过SparkConf获取spark.master属性的值，并提供示例代码，同时指出注意事项，比如优先级问题和可能的覆盖情况。确保回答准确，并引用相关来源支持结论。</think>根据 Spark 配置管理机制和引用内容[^3]，**在 Spark 应用代码中可以通过 `SparkConf` 或 `SparkContext` 直接读取 `--master` 参数**。以下是具体实现方法及注意事项： --- ### **方法 1：通过 `SparkConf` 读取** 直接访问 `spark.master` 属性（即使代码中未显式设置该参数，也能获取到通过 `spark-submit` 传递的值）： ```scala val conf = new SparkConf() val master = conf.get("spark.master") // 返回 "yarn" println(s"Master URL: $master") ``` #### **验证逻辑** - 若 `spark-submit` 指定 `--master yarn`，则 `spark.master` 值为 `yarn`。 - 若代码中显式调用 `.setMaster("local[*]")`，则此值会覆盖命令行参数[^3]。 --- ### **方法 2：通过 `SparkContext` 读取** 从已初始化的 `SparkContext` 中获取配置： ```scala val sc = new SparkContext(conf) val masterFromContext = sc.getConf.get("spark.master") println(s"Master from context: $masterFromContext") ``` --- ### **关键注意事项** 1. **参数优先级问题** - 若代码中显式设置 `spark.master`（如 `SparkConf.setMaster("local[*]")`），则代码中的值会覆盖 `spark-submit` 传递的参数[^3]。 - 若未通过任何方式设置 `spark.master`，Spark 会尝试从 `spark-defaults.conf` 或环境变量中读取默认值。 2. **动态获取参数的典型场景** ```scala // 根据不同的 master 参数执行不同逻辑 val master = conf.get("spark.master") master match { case "yarn" => println("Running on YARN cluster") case "local[*]" => println("Running in local mode") case _ => println(s"Unknown master: $master") } ``` 3. **Python 实现示例** ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName("ReadMasterParam").getOrCreate() master = spark.sparkContext.getConf().get("spark.master") print(f"Master URL: {master}") ``` --- ### **参数传递验证示例** #### 场景 1：通过 `spark-submit` 指定 `--master` ```bash spark-submit --master yarn --class MyApp myApp.jar ``` - **代码输出**：`Master URL: yarn` #### 场景 2：代码中显式设置 `spark.master` ```scala val conf = new SparkConf().setMaster("local[*]") // 覆盖命令行参数 val sc = new SparkContext(conf) println(sc.getConf.get("spark.master")) // 输出 "local[*]" ``` --- ### **引用总结** - `spark.master` 参数可通过 `SparkConf` 或 `SparkContext` 直接读取[^3]。 - 代码中显式设置的参数优先级高于 `spark-submit` 命令行参数[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值