spark-submit 参数

参数	含义
–master MASTER_URL	spark://host:port, mesos://host:port, yarn, or local
–deploy-mode DEPLOY_MODE	部署的模式，client或是cluster,默认为client
–class CLASS_NAME	项目入口类 ( Java / Scala )
–name NAME	项目名
–jars JARS	包含在驱动程序上的本地jar的逗号分隔列表和执行器类路径。
–packages	逗号分隔的在maven上的坐标. 将搜索本地的maven仓库，然后搜索maven中心和由–repositories提供的任何其他远程仓库。格式为 groupId:artifactId:version.
–exclude-packages	以逗号分隔的groupId列表：artifactId，以排除解析–packages中提供的依赖关系以避免依赖冲突。
–repositories	逗号分隔的附加远程仓库列表，以搜索–packages给出的maven坐标.
–py-files PY_FILES	逗号分隔的用于Python应用程序的PYTHONPATH上的.zip，.egg或.py文件列表
–files FILES	要放置在每个执行器的工作目录中的逗号分隔的文件列表 .
–conf PROP=VALUE	任意Spark配置属性.
–properties-file FILE	要从中加载额外属性的文件的路径。如果没有指定，这将寻找conf / spark-defaults.conf.
–driver-memory MEM	驱动程序内存 (e.g. 1000M, 2G) (默认: 1024M).
–driver-java-options	传递给驱动程序的额外的Java选项.
–driver-library-path	传递给驱动程序额外的库路径.
–driver-class-path	传递给驱动程序额外的类路径. 请注意，添加了-jars的jar会自动包含在类路径中.
–executor-memory MEM	每个执行器的内存 (e.g. 1000M, 2G) (默认: 1G).
–proxy-user NAME	在提交申请时模拟的用户.
–help, -h	显示此帮助消息并退出
–verbose, -v	打印debug输出
–version,	打印当前Spark版本

Spark standalone with cluster deploy mode only:

参数	含义
–driver-cores NUM	驱动程序内核数 (默认: 1).

###Spark standalone or Mesos with cluster deploy mode only:

参数	含义
–supervise	失败时重新启动驱动程序。
–kill SUBMISSION_ID	杀死指定的驱动程序。
–status SUBMISSION_ID	请求指定的驱动程序的状态。

Spark standalone and Mesos only:

参数	含义
–total-executor-cores NUM	所有执行器总共的内核数.

Spark standalone and YARN only:

参数	含义
–executor-cores NUM	每一个执行器的内核数。(默认: 1 在YARN模式中, 或者是工作器在standalone模式下的所有可用内核 )

YARN-only:

参数	含义
–driver-cores NUM	驱动程序内核数, 仅在cluster模式下(默认: 1).
–queue QUEUE_NAME	要提交的YARN队列 (默认: “default”).
–num-executors NUM	要发起的执行器的数目 (默认: 2).
–archives ARCHIVES	用逗号分隔要提取到每个执行者的工作目录的档案列表。
–principal PRINCIPAL	Principal 用于在安全的HDFS上登录 KDC。
–keytab KEYTAB	包含上面指定的主体的keytab的文件的完整路径。 该密钥表将被复制到通过安全分布式缓存运行应用程序主机的节点，以便定期更新登录凭证和委托令牌。