Spark-submit提交任务到集群

最新推荐文章于 2025-10-26 05:05:52 发布
原创 最新推荐文章于 2025-10-26 05:05:52 发布 · 7.3w 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark-submit

本文介绍了如何使用IntelliJ IDEA进行Spark项目打包，并通过`spark-submit`命令将任务提交到Spark集群，最后展示了运行结果。

1 IDEA 打包

示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar


选择project structure --》artifacts ，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。


点击ok，然后选择build --》build artifacts，SparkSQLTest --》build，然后在工程目录的子目录下会生成j对应的jar文件：


2 提交任务

首先启动集群，然后客户端来到spark-submit目录：/app/hadoop/spark131/bin


spark-submit通过命令行的方式提交任务，具体参数信息如下参考：


提交示例如下：


在命令行输入如下命令：
./spark-submit  --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3  /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar



在web监控界面可以看到：


3 运行结果

结果如下：




spark-submit 集群，提交job到集群执行
weixin_39291305的博客
11-29 335
python脚本：（get_hive_count.py） def get_total_everyDay(from_table,hive_from): spark = SparkSession.builder.master("yarn").appName("get %s hive count" % hive_from).enableHiveSupport().getOrCreate(...
PySpark学习---通过spark-submit提交到yarn运行
weixin_46164667的博客
04-22 1114
Linux上提交文件命令。
spark-submit提交任务到集群
weixin_33906657的博客
12-09 280
2019独角兽企业重金招聘Python工程师标准>>> ...
spark-submit总结
ITHomeZSL的博客
10-26 796
是你从“编写代码”到“生产运行”的桥梁。在银行项目中，熟练使用及其各种参数进行资源调优配置管理和依赖处理，是保证Spark应用稳定、高效运行的关键技能。建议你将常用的提交命令写成一个Shell脚本，方便重复执行和版本管理。
Spark提交代码到集群中运行
加油
10-10 443
2、注意输入和输出的路径必须是HDFS存在的某个路径。3、使用maven将代码打成jar包并上传。
spark-submit提交集群命令
junlin1106的博客
10-24 547
简单的记录提交命令参数，先切换到spark 的bin文件夹下--master spark填写自己的spark集群，最后/home/jll/home/jll/test_word-0.0.1-SNAPSHOT.jar改成自己的jar包存放路径 ./spark-submit --name "your app name" --master spark://ctrl241:7077 --executor-
提交Spark应用程序
梁辰兴的博客
04-26 1889
提交Spark作业后，观察Spark集群管理界面，其中“Running Applications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在Completed Applications表单下，可以看到当前应用执行完毕，返回控制台查看输出信息，出现了“Pi is roughly 3.1424157120785603”，说明Pi值已经被计算完毕。除了–master参数外，spark-submit还提供了一些控制资源使用和运行时环境的参数。进入Spark安装目录。
spark-submit 主要参数详细说明及Standalone集群最佳实践
日常学习与专研的记录
03-26 1706
部署提交应用到 spark 集群，可能会用到 `spark-submit` 工具，鉴于网上的博客质量残差不齐，且有很多完全是无效且错误的配置，没有搞明白诸如`--total-executor-cores` 、`--executor-cores`、`--num-executors`的关系和区别。因此有必要结合官网文档 [submitting-applications](https://spark.apache.org/docs/latest/submitting-applications.html) 详细记录
如何使用spark-submit提交sparkSQL任务
vic_torsun的博客
08-27 1万+
前言 本文介绍了使用java开发spark sql应用程序提交到yarn上运行的全过程，并介绍解决了一些开发和提交中常见的问题。 准备 首先我们要搭建好spark on yarn的集群环境，我是用cdh安装和cloudera manager进行维护的。 这里用到的组件主要有yarn、hdfs和hive。 对于开发人员来说唯一要准备的就是代码开发环境，使用idea创建一个maven项目，在pom....
spark-submit命令总览
weixin_52642840的博客
12-06 699
在集群上pyspark和spark-submit命令的使用
spark程序提交到集群上_Intellij IDEA 开发Saprk程序 —— 04. 将程序提交到Spark集群...
weixin_42526087的博客
01-13 337
一. 提交前的准备：完善代码程序在本机调试成功之后，就要将其提交到Spark集群中运行。在提交之前，对代码进行简单的修改，以便提交时修改运行参数。二. 提交前的准备：生成JAR包1.点击选择菜单栏FileProject StructureArtifacts，打开“Project Sructure”窗口。2.点击“+”“JAR”“From modules with dependecies…”，打开“...
spark-submit 提交项目到spark集群运行
qq_40607631的博客
08-24 489
当在集群上运行程序时，不需要在程序中硬编码master参数，而是使用spark-submit提交应用程序并将master的URL以脚本参数的形式传入。但是，对于本地测试和单元测试，您可以通过“local[*]”来运行Spark程序（请确保本地系统中的cpu核心数够用）master是Spark，Mesos或YARN集群的URL，或者一个特殊的“local [*]”字符串来让程序以本地模式运行。添加maven的pom依赖,根据中文注释更改值。maven-package生成jar包。
spark-submit提交命令
古笑来的博客
07-19 380
spark-submit --master yarn --deploy-mode cluster --class didlib.operator.io.HbaseReader --jars scopt.jar,didlib-core.jar,guava-12.0.1.jar,protobuf-java-2.5.0.jar,hbase-server-1.2.1.jar,hbase-client-1.2.1.jar,hbase-common-1.2.1.jar,htrace-core-3.1.0-incubat
spark系列之spark-submit提交spark程序
liu_xue_xue的专栏
08-02 2253
通过spark-submit提交第一个spark 应用到集群中运行 bin/spark-submit --master spark://node-4:7077,node-5:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2048mb --total-executor-cores 12 --executor-cores 1 examples/jars/spark-examples_2.11-2.2.0.jar 1000
《IDEA创建Spark工程并submit执行》
乌鸦大大
05-16 932
《windows下IDEA创建Spark工程并提交执行》IDEA创建Spark工程 IDEA创建Spark工程   1、创建时在Scala中选择IDEA项目            2、设置JAVA JDK 和Scala的JDK，其中Project SDK需要通过“New…”设置为JDK的路径；Scala SDK需要通过“Create…”设置为Scala的路径，同时命名项目            ...
spark提交任务命令
weixin_44280356的博客
10-21 4315
Spark submit spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 spark 提交到 yarn 执行的例子如下。 spark-submit --master yarn --executor-memory 20G --executor-cores 2 --driver-memory...
spark-submit提交jar包到spark集群上
热门推荐
nuc2015的博客
09-18 1万+
一、首先将写好的程序打包成jar包。在IDEA下使用maven导出jar包，如下： 在pom.xml中添加以下插件 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-...
spark提交代码到集群执行
qq_42936727的博客
03-19 474
改动1：加入环境变量，让pycharmi直接提交yn的时候，知道hadoop的配置在哪，可以去读取yarn的信息。如果在PyCharml中直接提交到yarn,依赖了其它的python文件，可以通过设置属性来指定依赖代码。#–py-files可以帮你指定你依赖的其它python代码，支持.zip(一堆)，也可以单个.py文件。#如果在代码中运行，那么依赖的其它文件，可以通过spark.submit.pyFiles属性来设置。#在集群运行，本地文件就不可以用了，需要用hdfs文件。
Spark任务提交 spark-submit提交
最新发布
11-07
spark-submit 是 Apache Spark 提供的用于提交 Spark 应用程序到集群的命令行工具，基本语法为：spark-submit [options] <app-jar> [app-arguments] [^3]。 在 Linux 环境下，可通过”spark-submit —help”命令来了解 spark-submit 指令的各种参数说明，在终端窗口下，执行如下的命令，来查看 spark-submit 的帮助信息：$ spark-submit --help [^1]。 常用参数说明如下： - **应用程序配置**： - `--class <class-name>`：指定应用程序的主类（对于 Java/Scala 程序）。 - `--name <app-name>`：设置应用程序名称。 - `--jars <jars>`：添加额外的 JAR 文件到 classpath（逗号分隔）。 - `--py-files <files>`：为 Python 应用添加额外的文件（.zip, .egg, .py）。 - `--files <files>`：将文件上传到执行器工作目录（逗号分隔）。 - `--conf <key>=<value>`：设置任意 Spark 配置属性 [^3]。 - **资源分配**： - `--driver-memory <memory>`：设置 Driver 进程内存（如 1g）。 - `--executor-memory <memory>`：设置每个 Executor 进程内存（如 1g）。 - `--executor-cores <num>`：设置每个 Executor 使用的核心数。 - `--num-executors <num>`：设置要启动的 Executor 数量。 - `--total-executor-cores <num>`：设置所有 Executor 使用的总核心数 [^3]。 Spark 支持三种集群管理方式： - Standalone：Spark 自带的一种集群管理方式，易于构建集群。 - Apache Mesos：通用的集群管理，可以在其上运行 Hadoop MapReduce 和一些服务应用。 - Hadoop YARN：Hadoop2 中的资源管理器 [^2]。 当在集群上运行程序时，不需要在程序中硬编码 master 参数，而是使用 spark-submit 提交应用程序并将 master 的 URL 以脚本参数的形式传入。例如： ``` /software/spark-3.1.2-bin-hadoop2.7/bin/spark-submit --class application.Application --master spark://hadoop01:7077 /software/spark-3.1.2-bin-hadoop2.7/jars/EcommerceAnalysis-1.0-SNAPSHOT.jar 10 ``` 不过，对于本地测试和单元测试，可以通过“local[*]”来运行 Spark 程序（需确保本地系统中的 cpu 核心数够用） [^5]。 使用 spark-submit 提交任务时，所有配置都可以通过 command 设置，若图方便或者想从外部配置文件导入配置，也可使用相关函数添加配置。例如 AppName 和一些外部数据源的配置参数： ```java SparkConf sparkConf = new SparkConf().setAppName("TestSQL01"); sparkConf.set("es.index.auto.create","true"); //在spark中自动创建es中的索引 sparkConf.set("es.nodes","保密"); //设置在spark中连接es的url和端口 sparkConf.set("es.port","9200"); sparkConf.set("es.nodes.wan.only","true"); JavaSparkContext sc = new JavaSparkContext(sparkConf); SQLContext sql = new SQLContext(sc); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值