spark-submit 是 Apache
Spark 提供的用于
提交 Spark 应用程序到集群的命令行工具，基本语法为：
spark-submit [options] <app
-jar> [app
-arguments] [^3]。
在 Linux 环境下，可通过”
spark-submit —help”命令来了解
spark-submit 指令的各种参数说明，在终端窗口下，执行如下的命令，来查看
spark-submit 的帮助信息：$
spark-submit
--help [^1]。
常用参数说明如下：
- **应用程序配置**：
- `
--class <class
-name>`：指定应用程序的主类（对于 Java/Scala 程序）。
- `
--name <app
-name>`：设置应用程序名称。
- `
--jars <jars>`：添加额外的 JAR 文件到 classpath（逗号分隔）。
- `
--py
-files <files>`：为 Python 应用添加额外的文件（.zip, .egg, .py）。
- `
--files <files>`：将文件上传到执行器工作目录（逗号分隔）。
- `
--conf <key>=<value>`：设置任意
Spark 配置属性 [^3]。
- **资源分配**：
- `
--driver
-memory <memory>`：设置 Driver 进程内存（如 1g）。
- `
--executor
-memory <memory>`：设置每个 Executor 进程内存（如 1g）。
- `
--executor
-cores <num>`：设置每个 Executor 使用的核心数。
- `
--num
-executors <num>`：设置要启动的 Executor 数量。
- `
--total
-executor
-cores <num>`：设置所有 Executor 使用的总核心数 [^3]。
Spark 支持三种集群管理方式：
- Standalone：
Spark 自带的一种集群管理方式，易于构建集群。
- Apache Mesos：通用的集群管理，可以在其上运行 Hadoop MapReduce 和一些服务应用。
- Hadoop YARN：Hadoop2 中的资源管理器 [^2]。
当在集群上运行程序时，不需要在程序中硬编码 master 参数，而是使用
spark-submit
提交应用程序并将 master 的 URL 以脚本参数的形式传入。例如：
```
/software/
spark-3.1.2
-bin
-hadoop2.7/bin/
spark-submit
--class application.Application
--master
spark://hadoop01:7077 /software/
spark-3.1.2
-bin
-hadoop2.7/jars/EcommerceAnalysis
-1.0
-SNAPSHOT.jar 10
```
不过，对于本地测试和单元测试，可以通过“local[*]”来运行
Spark 程序（需确保本地系统中的 cpu 核心数够用） [^5]。
使用
spark-submit
提交任务时，所有配置都可以通过 command 设置，若图方便或者想从外部
配置文件导入配置，也可使用相关函数添加配置。例如 AppName 和一些外部数据源的配置参数：
```java
SparkConf
sparkConf = new
SparkConf().setAppName("Test
SQL01");
sparkConf.set("es.index.auto.create","true"); //在
spark中自动创建es中的索引
sparkConf.set("es.nodes","保密"); //设置在
spark中连接es的url和端口
sparkConf.set("es.port","9200");
sparkConf.set("es.nodes.wan.only","true");
Java
SparkContext sc = new Java
SparkContext(
sparkConf);
SQLContext
sql = new
SQLContext(sc);
```
博客围绕Spark提交参数配置展开，虽未给出具体内容，但可知聚焦于Spark在提交任务时相关参数的设置，这在大数据开发中对Spark性能调优、任务顺利执行等有重要意义。
扫一扫
2794
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
